🎼 テキスト・画像・音声・動画が入り混じる難タスクを、専門サブエージェントに分解して並列で解く——巨大単体モデルより「適材適所のチーム」が勝つことを示した研究です。 タイトル: Orchestra-o1: Omnimodal Agent Orchestration URL: 💡 概要 Orchestra-o1は、複数モダリティが同時に絡むタスクを、高レベルのオーケストレーションと低レベルのツール実行に分離して解く階層型エージェント枠組みです。モダリティに応じてサブエージェントを専門化し、並列実行で効率を高めます。 ⚠️ 解決する課題 既存のオーケストレーションは扱えるモダリティが限られ、テキスト・画像・音声・動画が共存して相互作用するシナリオに汎化できませんでした。 🛠 方法論と提案手法 ・バックエンドを「スキルベクトル＋コスト/レイテンシ」で表し、コスト考慮で選択 ・知覚系（画像/音声/動画解析）と行動系（検索/閲覧/コード実行）のツールを割り当て ・サブゴールの潜在依存グラフを作り独立タスクを並列実行 ・学習はDA-GRPO：最終回答でなくステップ単位を評価し、decision quality(0.6)を重視した多次元ルーブリック報酬で意思決定を整合 📊 実験結果（独自ベンチOmniGAIA） ・Orchestra-o1-GPT-5が72.8%で、2位のGemini-3-Proを10.3ポイント上回り最高 ・オープンソースのOrchestra-o1-8B（Qwen3-8Bベース）は30.0%でOSS最高 ・精度72.8%をコスト341.6で達成し、低精度な比較手法より安く高精度 ・難易度別はEasy80.3%/Medium75.0%/Hard56.4% #AIエージェント# #マルチモーダル#

TL;DR：文書・画像・音声・動画を、1つのエンコーダと1つのJSONスキーマで構造化テキストに変換するモデルです。文書パースで最高スコアを記録しました。 Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities ポイント ・🧩 共有Transformer1つで画像・音声・動画を符号化（初期値はQwen3-0.6B-Base） ・⏱ 時間・高さ・幅に分けた回転位置エンコーディングで、映像と音が同じ時間軸を共有 ・📐 OmniSchemaで文書・化学式・楽譜・チャート・音声・動画など10タスクを同じJSON形式に統一 ・🔁 後学習は自己更新する教師を使うOSAD蒸留とスキーマ対応RLVR ・📄 OmniDocBench v1.6は総合96.96で報告中最高 ・🎬 OmniParsingBenchはオープンウェイト最高の75.08。テキスト豊富な動画は75.62（比較モデル65.36） 一方でGemini-3-Proは77.44で上回り、Video-MME-v2ではQwen3-Omniに届いていません。音声ASRも課題です。LLMエージェントの入口となる「何でもパーサ」への有望な一歩だと思います。 #OmniModal# #DocumentParsing#

動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#