動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

動画の埋め込みベクトルには物理法則の情報が眠っているのに、それをうまく取り出せていない。そんな現状を8,000件の物理シミュレーションで検証した研究です。 タイトル: World Embedding Benchmark URL: 流体力学・固体力学・力学系・光学の4分野80ファミリーからなる物理シミュレーションベンチマークで、動画埋め込みがどれだけ物理を「理解」しているかを測定しました。注目ポイントを3つ紹介します。 🔍 物理情報はあるのに引き出せない 事前学習済みモデルの検索精度（Recall@10）はわずか0.6〜7.3%と低い一方、V-JEPA2はテキストとの対応なしに物理量の回帰では高い性能（nRMSE約0.94〜1.02）を示しました。物理情報自体は符号化されているのに、言語とうまく結びついていないのです。 ⚖️ アラインメントと復元可能性のトレードオフ 物理特化のコントラスティブ学習を行うと、検索性能とペア分類は改善する一方、物理属性の回帰精度はむしろ悪化しました。類似度マッチング向けに表現空間を再編成することが、定量的な物理情報の保持を犠牲にしてしまうのです。 🎬 検索拡張生成での実用的な効果 物理適応したモデルで検索した参照動画を使うと、動画生成の平均スコアが0.60から0.66に向上し、光学・熱分野で特に忠実度が改善しました。 アラインメントと復元可能性を別々に最適化せず両方同時に評価すべきだという指摘が、世界モデル設計への具体的な教訓になっています。 #世界モデル# #動画生成AI#