動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

動画AIは、ブレた・遮蔽された映像も「等しく信じて」推論していました。その盲点に切り込む研究です。 タイトル：Confidence-Aware Tool Orchestration for Robust Video Understanding URL： ❓ 何が問題なの？ 💡 Video-LLMは全フレームを等しく信頼できると暗黙に仮定しています（著者の言う「Blind Trust Problem」）。モーションブラーやグレア、遮蔽で映像が劣化しても気づかず、実世界ベンチで15〜30ポイントも精度が落ちます。しかも確信度はほぼ変わらない「静かな失敗」が起きます。 ❓ Robust-TOはどう解くの？ 💡 フレーム単位の信頼度を推論の全段階に組み込みます。まず品質プロファイリングでブラー・輝度・遮蔽を採点して信頼できるフレームだけ選び、次にクエリをサブクエリに分解して劣化に強いツールへ振り分け、各ツールは(結果, 確信度)のペアを返します。 ❓ 確信度はどう使うの？ 💡 証拠をhigh/medium/lowの3段階に分類。highで結論を出し、mediumは一致時のみ採用、lowは代替手段としてだけ使い、残る不確実性は回答に明記します。確信度-コスト報酬を含むGRPOで学習します。 ❓ どれくらい効くの？ 💡 クリーン動画で平均56.4%（Gemini-2.5-Proを+10.6pt）、劣化動画で54.3%（オープンソース最強Video-R1を+5.8pt）。しかもフレームを32→20.7枚に絞り、推論を35%以上高速化しつつ精度+1.6ptも達成しています。 #動画理解# #マルチモーダルAI#

【本日19時】 YouTubeチャンネル構築講座（AI動画発信編）、 本日（16日）19時スタートです。 ChatGPT・Canvaなど複数のAIツールを組み合わせて、 手持ちのブログや提案書、セミナー資料などから、 誰でも短時間で発信を形にできる仕組みを 実践的に体験して頂きます。 「撮影や編集が大変」「話すのが苦手」「時間がない」── そんな理由で、動画発信を後回しにされていた方も、 やりたかった動画発信を、 AIの力で形にして頂ければと思います。 累計受講者200名突破の人気講座です。 申込は本日18時まで受け付けております。 また本講座はいつものように録画⇒アーカイブ配信予定でおります。 👉