TL;DR 空間推論を文章生成ではなく「候補を選ぶ分類問題」として扱うことで、VLMを最大5.6倍高速化しつつ精度も向上させた研究です。 タイトル: MJev-Spatial: System One Spatial Intelligence via Native Attention Matching URL: ポイントはこちらです。 ・🎯 選択・数値・座標指定をすべて「有限候補の分類」として統一的に扱う設計 ・🧠 新しい予測ヘッドを追加せず、モデルが元から持つクエリ・キー注意機構を再利用してスコアリング ・📐 座標指定は3×3グリッドを3段階クロップし直して絞り込む階層的な精密化 ・🚀 B200 GPUでの平均レイテンシ160.6ms、自動回帰ベースライン比2.5倍、ベースモデル比5.6倍高速化 ・📊 12ベンチマーク平均65.64%でQwen3-VL-8Bなど既存手法を上回り、7ベンチマークで1位 ・🔢 距離推定は細かく区間を切るより粗めの方が精度が良いという意外な結果も ・🌲 確率木を使えば追加学習なしで複数点予測にも拡張可能 テキスト生成を経由しない「直感的な分類」という発想の転換が、速度と精度を両立させているのが面白いです。 #VLM# #空間推論#

TL;DR 空間推論を文章生成ではなく「候補を選ぶ分類問題」として扱うことで、VLMを最大5.6倍高速化しつつ精度も向上させた研究です。 タイトル: MJev-Spatial: System One Spatial Intelligence via Native Attention Matching URL: ポイントはこちらです。 ・🎯 選択・数値・座標指定をすべて「有限候補の分類」として統一的に扱う設計 ・🧠 新しい予測ヘッドを追加せず、モデルが元から持つクエリ・キー注意機構を再利用してスコアリング ・📐 座標指定は3×3グリッドを3段階クロップし直して絞り込む階層的な精密化 ・🚀 B200 GPUでの平均レイテンシ160.6ms、自動回帰ベースライン比2.5倍、ベースモデル比5.6倍高速化 ・📊 12ベンチマーク平均65.64%でQwen3-VL-8Bなど既存手法を上回り、7ベンチマークで1位 ・🔢 距離推定は細かく区間を切るより粗めの方が精度が良いという意外な結果も ・🌲 確率木を使えば追加学習なしで複数点予測にも拡張可能 テキスト生成を経由しない「直感的な分類」という発想の転換が、速度と精度を両立させているのが面白いです。 #VLM# #空間推論#

動画を見て判断するAIエージェントに必要なのは、長い文章の生成ではなく「速い判断」。その発想を極限まで突き詰めたモデル群VideoJevが登場しました。 タイトル: VideoJev: System One Model for Video Understanding and Interaction URL: 動画の該当区間特定（時間的グラウンディング）と動画の質問応答を、どちらも「候補のスコアリング」として統一的に扱う設計です。3つの注目ポイントをまとめました。 🎯 生成ではなくスコアリング 事前学習済みMLLMの出力ヘッドを候補スコアラーに置き換え、トークンを1つずつ生成する代わりに、時間区間やテキスト選択肢を直接スコアリングします。同じ学習データで比較しても、この方式は自己回帰的なファインチューニングをグラウンディングで1.3ポイント、QAで1.9ポイント上回りました。 ⚡ 2つの推論モードで賢く高速化 動画を一度だけエンコードする「キャッシュ推論」と、複数のクエリを1回のフォワードパスでまとめて処理する「ジョイント推論」を用意。1動画に10クエリ投げても追加コストはわずか数十ミリ秒に抑えつつ、予測品質はむしろ向上します。 📈 驚異的な速度と精度の両立 時間的グラウンディングでmIoUを最大10.8ポイント改善しつつ2.8〜3.1倍高速化、動画QAでは精度を維持したまま100倍超の高速化を達成しました。 「考えてから答える」ではなく「即座に判断する」設計が、リアルタイムな視覚エージェントの実用化を大きく前進させそうです。 #動画AI# #AIエージェント#

エージェントのメモリ管理、毎回LLMに聞きに行っていませんか？その無駄を「速い脳」と「遅い脳」で切り分けた研究です。 タイトル: Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents URL: 人間の二重過程理論（System One / System Two）にヒントを得て、メモリ操作の大半を軽量な構造化判断で処理し、複雑な推論だけをLLMに残すアーキテクチャです。注目ポイントを3つ紹介します。 🧠 System-Oneによる型付き制御 種別判定・関係判定・クエリルーティングといった頻出操作を、自由形式のテキストではなく確率やラベルを返す軽量インターフェースで処理。メモリ構築と検索の両方を同じ仕組みで統治します。 🕸️ 4種の関係を持つマルチリレーショナルグラフ 意味・時間・因果・エンティティという4つの視点でメモリをグラフ化し、クエリごとに関連度の高いビューへ予算を配分して探索することで、無駄な探索を避けます。 📊 精度と速度の同時改善 LoCoMoベンチマークで総合スコア0.777とベースライン比11%向上。メモリ構築は158秒で最速ベースライン比6.6倍高速、クエリ応答も0.93秒で36.7%短縮しました。 制御と推論を分離するという発想が、精度と効率を両立させた点に意義を感じます。 #AIエージェント# #メモリアーキテクチャ#

TL;DR ツール選択や文書検索のような「選ぶ・当てる」タスクに特化した決定ネイティブなモデル「Jeva」が登場しました。候補の並び順を変えても答えが一切ブレず、候補を使い回す設計でレイテンシを最大27.98倍削減しています。 タイトル: Jeva: System One Models from First Principles URL: ポイント 🎯 ツール選択・インテント分類・文書検索など「型付き決定」に特化し、候補なし(Null)の判定も標準で扱う設計です 🔀 候補の並び替えで決定が変わる既存モデルの問題を解消し、順序を変えても決定フリップ率は完全に0%でした 📊 BANKING77で92.05%、Null検出のAUROCは98.66%と、比較対象を大きく上回る精度を達成しています ⚡ 候補の計算結果をキャッシュして再利用でき、全候補再利用時は最大27.98倍のレイテンシ削減(2,102ms→75.1ms)です 📈 候補数を32から2048まで増やしても精度69.88%を維持し、既存の再帰選択方式より2.3倍速く動作します 🧩 1つのアテンションブロックだけで、候補同士の相互関係を考慮した集合依存的な判定を実現しています ツール呼び出しやRAGの候補選別のような地味だけど頻発するタスクに、キャッシュ前提で専用設計されたモデルが刺さりそうです。 #LLM# #意思決定#

TL;DR ツール選択や文書検索のような「選ぶ・当てる」タスクに特化した決定ネイティブなモデル「Jeva」が登場しました。候補の並び順を変えても答えが一切ブレず、候補を使い回す設計でレイテンシを最大27.98倍削減しています。 タイトル: Jeva: System One Models from First Principles URL: ポイント 🎯 ツール選択・インテント分類・文書検索など「型付き決定」に特化し、候補なし(Null)の判定も標準で扱う設計です 🔀 候補の並び替えで決定が変わる既存モデルの問題を解消し、順序を変えても決定フリップ率は完全に0%でした 📊 BANKING77で92.05%、Null検出のAUROCは98.66%と、比較対象を大きく上回る精度を達成しています ⚡ 候補の計算結果をキャッシュして再利用でき、全候補再利用時は最大27.98倍のレイテンシ削減(2,102ms→75.1ms)です 📈 候補数を32から2048まで増やしても精度69.88%を維持し、既存の再帰選択方式より2.3倍速く動作します 🧩 1つのアテンションブロックだけで、候補同士の相互関係を考慮した集合依存的な判定を実現しています ツール呼び出しやRAGの候補選別のような地味だけど頻発するタスクに、キャッシュ前提で専用設計されたモデルが刺さりそうです。 #LLM# #意思決定#

# Claude Agent SDKの便利で実践的な使い方 🪝 エージェントの全動作をフックでインターセプトし、監査・制御・通知を実現できます。 フックは、`PreToolUse`・`PostToolUse`・`Stop`・`Notification` 等のライフサイクルイベントでカスタムコードを実行し、エージェントの動作を検証・ログ・ブロック・変換する機能です。 📌 タイトル：フックを使用してエージェントの動作をインターセプトして制御する 🔗 URL： 🧩 概要 フックは SDK のコールバック関数で、ツール実行前後・停止時・通知時等に発火します。`HookMatcher` で対象ツールをパターン指定でき、`permissionDecision` で許可/拒否を制御します。コンテキストウィンドウ外で実行されるためトークン消費なしです。 🛠 使い方 `hooks` オプションにイベント名（`PreToolUse` / `PostToolUse` / `Notification` 等）をキーとし、`HookMatcher` でマッチャパターン（`"Edit|Write"` や `"^mcp__"` 等）とコールバック関数を指定します。コールバックは `permissionDecision`（`allow` / `deny`）や `updatedInput` を返してツール実行を制御できます。 🏗 実践的な使い方 ・`PreToolUse` で `.env` への書き込みや `/etc` 操作を `deny` で停止し、`systemMessage` で理由を Claude に伝えます。 ・`PostToolUse` で全ファイル変更を監査ファイルに記録します（コンプライアンス用）。 ・`PreToolUse` で Write の `file_path` を書き換え、全書き込みを `/sandbox` へリダイレクトします（`updatedInput` + `allow`）。 ・`Notification` フックでパーミッション要求・アイドル状態を Slack や PagerDuty へ転送します。 💡 ユースケース 🛡 危険操作の自動ブロック 📝 全ファイル変更の監査ログ記録 📨 外部通知サービスへのイベント転送 🔀 書き込み先のサンドボックスリダイレクト ⚠️ 注意点 複数フックは並列実行され、`deny > defer > ask > allow` の優先順で決定されます。`async_: True` でエージェントを止めずに非同期処理が可能です。`SessionStart` / `SessionEnd` は TypeScript のみです。 #ClaudeAgentSDK# #AI#

# Claude Agent SDKの便利で実践的な使い方 🪝 エージェントの全動作をフックでインターセプトし、監査・制御・通知を実現できます。 フックは、`PreToolUse`・`PostToolUse`・`Stop`・`Notification` 等のライフサイクルイベントでカスタムコードを実行し、エージェントの動作を検証・ログ・ブロック・変換する機能です。 📌 タイトル：フックを使用してエージェントの動作をインターセプトして制御する 🔗 URL： 🧩 概要 フックは SDK のコールバック関数で、ツール実行前後・停止時・通知時等に発火します。`HookMatcher` で対象ツールをパターン指定でき、`permissionDecision` で許可/拒否を制御します。コンテキストウィンドウ外で実行されるためトークン消費なしです。 🛠 使い方 `hooks` オプションにイベント名（`PreToolUse` / `PostToolUse` / `Notification` 等）をキーとし、`HookMatcher` でマッチャパターン（`"Edit|Write"` や `"^mcp__"` 等）とコールバック関数を指定します。コールバックは `permissionDecision`（`allow` / `deny`）や `updatedInput` を返してツール実行を制御できます。 🏗 実践的な使い方 ・`PreToolUse` で `.env` への書き込みや `/etc` 操作を `deny` で停止し、`systemMessage` で理由を Claude に伝えます。 ・`PostToolUse` で全ファイル変更を監査ファイルに記録します（コンプライアンス用）。 ・`PreToolUse` で Write の `file_path` を書き換え、全書き込みを `/sandbox` へリダイレクトします（`updatedInput` + `allow`）。 ・`Notification` フックでパーミッション要求・アイドル状態を Slack や PagerDuty へ転送します。 💡 ユースケース 🛡 危険操作の自動ブロック 📝 全ファイル変更の監査ログ記録 📨 外部通知サービスへのイベント転送 🔀 書き込み先のサンドボックスリダイレクト ⚠️ 注意点 複数フックは並列実行され、`deny > defer > ask > allow` の優先順で決定されます。`async_: True` でエージェントを止めずに非同期処理が可能です。`SessionStart` / `SessionEnd` は TypeScript のみです。 #ClaudeAgentSDK# #AI#