“Understanding Coach Burnout as a Relational Process: An Autoethnographic Case from High-Performance Trampoline” 少しずつ進めてきていた学内プロジェクトが形になりつつあります😆✨

動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#

便利だけど知られていないGemini APIの機能 📑 1,000ページのPDF、テキストも図表もまとめて理解。ドキュメント処理の次元が変わります。 Geminiの「ドキュメント処理（Document understanding）」は、最大1,000ページのPDF等をマルチモーダル（テキスト+図表+画像）で理解する機能です。テキスト抽出だけでは得られない深い文書理解を実現します。 📌 タイトル：ドキュメント処理（Document understanding） 🔗 URL： 🧩 概要 PDFや文書の処理といえば、従来はOCRでテキストを抽出するのが主流でした。しかし、図表、グラフ、レイアウト情報まで含めて理解するのは困難でした。Geminiのドキュメント処理は、ページをマルチモーダルに「見て」理解するため、テキストだけでなく図表やレイアウトの情報も含めた回答が可能です。最大1,000ページまで対応。 🛠 使い方 PDFファイルをFiles APIでアップロードするか、インラインでリクエストに含めます。ページ単位でGeminiが視覚的に解釈し、テキスト、表、図、グラフなどを総合的に理解。「この表のデータを集計して」「3章の図の内容を説明して」のような質問に回答できます。 🏗 本番システムへの組み込み方 ・契約書レビュー：数百ページの契約書を丸ごと渡して、特定条項の検索や条件の比較分析を自動化。 ・決算報告書の分析：財務諸表の図表を読み取り、数値の傾向やリスクを自動で抽出・要約。 ・技術文書の理解：設計書やスペックシートの図面・表を含めた質問応答。 ・学術論文の分析：論文のグラフや実験結果の表を理解した上での要約・比較分析。 💡 ユースケース 📋 契約書・法務文書の自動レビュー 💹 決算報告書・財務諸表の分析 🔧 技術仕様書の図面を含む理解 🔬 学術論文のグラフ・表を含む分析 ⚠️ 注意点 スキャンされたPDFの品質が低い場合、読み取り精度が下がる可能性があります。また、1,000ページ対応とはいえ、コストとレイテンシはページ数に比例して増加します。必要なページ範囲を絞って渡す工夫も重要です。機密文書を扱う場合はデータの取り扱いポリシーも確認しましょう。 ✨ 「テキストだけ抽出」の時代から「図表も含めて丸ごと理解」の時代へ。まずは図表の多い文書でその実力を試してみてください。 #Gemini# #LLM#

動画AIは、ブレた・遮蔽された映像も「等しく信じて」推論していました。その盲点に切り込む研究です。 タイトル：Confidence-Aware Tool Orchestration for Robust Video Understanding URL： ❓ 何が問題なの？ 💡 Video-LLMは全フレームを等しく信頼できると暗黙に仮定しています（著者の言う「Blind Trust Problem」）。モーションブラーやグレア、遮蔽で映像が劣化しても気づかず、実世界ベンチで15〜30ポイントも精度が落ちます。しかも確信度はほぼ変わらない「静かな失敗」が起きます。 ❓ Robust-TOはどう解くの？ 💡 フレーム単位の信頼度を推論の全段階に組み込みます。まず品質プロファイリングでブラー・輝度・遮蔽を採点して信頼できるフレームだけ選び、次にクエリをサブクエリに分解して劣化に強いツールへ振り分け、各ツールは(結果, 確信度)のペアを返します。 ❓ 確信度はどう使うの？ 💡 証拠をhigh/medium/lowの3段階に分類。highで結論を出し、mediumは一致時のみ採用、lowは代替手段としてだけ使い、残る不確実性は回答に明記します。確信度-コスト報酬を含むGRPOで学習します。 ❓ どれくらい効くの？ 💡 クリーン動画で平均56.4%（Gemini-2.5-Proを+10.6pt）、劣化動画で54.3%（オープンソース最強Video-R1を+5.8pt）。しかもフレームを32→20.7枚に絞り、推論を35%以上高速化しつつ精度+1.6ptも達成しています。 #動画理解# #マルチモーダルAI#

動画を見て判断するAIエージェントに必要なのは、長い文章の生成ではなく「速い判断」。その発想を極限まで突き詰めたモデル群VideoJevが登場しました。 タイトル: VideoJev: System One Model for Video Understanding and Interaction URL: 動画の該当区間特定（時間的グラウンディング）と動画の質問応答を、どちらも「候補のスコアリング」として統一的に扱う設計です。3つの注目ポイントをまとめました。 🎯 生成ではなくスコアリング 事前学習済みMLLMの出力ヘッドを候補スコアラーに置き換え、トークンを1つずつ生成する代わりに、時間区間やテキスト選択肢を直接スコアリングします。同じ学習データで比較しても、この方式は自己回帰的なファインチューニングをグラウンディングで1.3ポイント、QAで1.9ポイント上回りました。 ⚡ 2つの推論モードで賢く高速化 動画を一度だけエンコードする「キャッシュ推論」と、複数のクエリを1回のフォワードパスでまとめて処理する「ジョイント推論」を用意。1動画に10クエリ投げても追加コストはわずか数十ミリ秒に抑えつつ、予測品質はむしろ向上します。 📈 驚異的な速度と精度の両立 時間的グラウンディングでmIoUを最大10.8ポイント改善しつつ2.8〜3.1倍高速化、動画QAでは精度を維持したまま100倍超の高速化を達成しました。 「考えてから答える」ではなく「即座に判断する」設計が、リアルタイムな視覚エージェントの実用化を大きく前進させそうです。 #動画AI# #AIエージェント#