動画を見て判断するAIエージェントに必要なのは、長い文章の生成ではなく「速い判断」。その発想を極限まで突き詰めたモデル群VideoJevが登場しました。 タイトル: VideoJev: System One Model for Video Understanding and Interaction URL: 動画の該当区間特定（時間的グラウンディング）と動画の質問応答を、どちらも「候補のスコアリング」として統一的に扱う設計です。3つの注目ポイントをまとめました。 🎯 生成ではなくスコアリング 事前学習済みMLLMの出力ヘッドを候補スコアラーに置き換え、トークンを1つずつ生成する代わりに、時間区間やテキスト選択肢を直接スコアリングします。同じ学習データで比較しても、この方式は自己回帰的なファインチューニングをグラウンディングで1.3ポイント、QAで1.9ポイント上回りました。 ⚡ 2つの推論モードで賢く高速化 動画を一度だけエンコードする「キャッシュ推論」と、複数のクエリを1回のフォワードパスでまとめて処理する「ジョイント推論」を用意。1動画に10クエリ投げても追加コストはわずか数十ミリ秒に抑えつつ、予測品質はむしろ向上します。 📈 驚異的な速度と精度の両立 時間的グラウンディングでmIoUを最大10.8ポイント改善しつつ2.8〜3.1倍高速化、動画QAでは精度を維持したまま100倍超の高速化を達成しました。 「考えてから答える」ではなく「即座に判断する」設計が、リアルタイムな視覚エージェントの実用化を大きく前進させそうです。 #動画AI# #AIエージェント#

動画AIは、ブレた・遮蔽された映像も「等しく信じて」推論していました。その盲点に切り込む研究です。 タイトル：Confidence-Aware Tool Orchestration for Robust Video Understanding URL： ❓ 何が問題なの？ 💡 Video-LLMは全フレームを等しく信頼できると暗黙に仮定しています（著者の言う「Blind Trust Problem」）。モーションブラーやグレア、遮蔽で映像が劣化しても気づかず、実世界ベンチで15〜30ポイントも精度が落ちます。しかも確信度はほぼ変わらない「静かな失敗」が起きます。 ❓ Robust-TOはどう解くの？ 💡 フレーム単位の信頼度を推論の全段階に組み込みます。まず品質プロファイリングでブラー・輝度・遮蔽を採点して信頼できるフレームだけ選び、次にクエリをサブクエリに分解して劣化に強いツールへ振り分け、各ツールは(結果, 確信度)のペアを返します。 ❓ 確信度はどう使うの？ 💡 証拠をhigh/medium/lowの3段階に分類。highで結論を出し、mediumは一致時のみ採用、lowは代替手段としてだけ使い、残る不確実性は回答に明記します。確信度-コスト報酬を含むGRPOで学習します。 ❓ どれくらい効くの？ 💡 クリーン動画で平均56.4%（Gemini-2.5-Proを+10.6pt）、劣化動画で54.3%（オープンソース最強Video-R1を+5.8pt）。しかもフレームを32→20.7枚に絞り、推論を35%以上高速化しつつ精度+1.6ptも達成しています。 #動画理解# #マルチモーダルAI#