動画AIは、ブレた・遮蔽された映像も「等しく信じて」推論していました。その盲点に切り込む研究です。
タイトル:Confidence-Aware Tool Orchestration for Robust Video Understanding
URL:
❓ 何が問題なの?
💡 Video-LLMは全フレームを等しく信頼できると暗黙に仮定しています(著者の言う「Blind Trust Problem」)。モーションブラーやグレア、遮蔽で映像が劣化しても気づかず、実世界ベンチで15〜30ポイントも精度が落ちます。しかも確信度はほぼ変わらない「静かな失敗」が起きます。
❓ Robust-TOはどう解くの?
💡 フレーム単位の信頼度を推論の全段階に組み込みます。まず品質プロファイリングでブラー・輝度・遮蔽を採点して信頼できるフレームだけ選び、次にクエリをサブクエリに分解して劣化に強いツールへ振り分け、各ツールは(結果, 確信度)のペアを返します。
❓ 確信度はどう使うの?
💡 証拠をhigh/medium/lowの3段階に分類。highで結論を出し、mediumは一致時のみ採用、lowは代替手段としてだけ使い、残る不確実性は回答に明記します。確信度-コスト報酬を含むGRPOで学習します。
❓ どれくらい効くの?
💡 クリーン動画で平均56.4%(Gemini-2.5-Proを+10.6pt)、劣化動画で54.3%(オープンソース最強Video-R1を+5.8pt)。しかもフレームを32→20.7枚に絞り、推論を35%以上高速化しつつ精度+1.6ptも達成しています。
#
動画理解# #
マルチモーダルAI#