cv usk(@cv_usk):動画を見て判断するAIエージェントに必要なのは、長い文章の生成ではなく「速い判断」。その発想を極限まで突き詰めたモデル群VideoJevが登場しました。タイトル: VideoJev: System One Model for Video Understanding and Interaction URL: https://t.co/AVGm2vig7I 動画の該当区間特定（時間的グラウンディング）と動画の質問応答を、どちらも「候補のスコアリング」として統一的に扱う設計です。3つの注目ポイントをまとめました。 🎯 生成ではなくスコアリング事前学習済みMLLMの出力ヘッドを候補スコアラーに置き換え、トークンを1つずつ生成する代わりに、時間区間やテキスト選択肢を直接スコアリングします。同じ学習データで比較しても、この方式は自己回帰的なファインチューニングをグラウンディングで1.3ポイント、QAで1.9ポイント上回りました。 ⚡ 2つの推論モードで賢く高速化動画を一度だけエンコードする「キャッシュ推論」と、複数のクエリを1回のフォワードパスでまとめて処理する「ジョイント推論」を用意。1動画に10クエリ投げても追加コストはわずか数十ミリ秒に抑えつつ、予測品質はむしろ向上します。 📈 驚異的な速度と精度の両立時間的グラウンディングでmIoUを最大10.8ポイント改善しつつ2.8〜3.1倍高速化、動画QAでは精度を維持したまま100倍超の高速化を達成しました。「考えてから答える」ではなく「即座に判断する」設計が、リアルタイムな視覚エージェントの実用化を大きく前進させそうです。 #動画AI #AIエージェント

2026.10.25 08:45

動画を見て判断するAIエージェントに必要なのは、長い文章の生成ではなく「速い判断」。その発想を極限まで突き詰めたモデル群VideoJevが登場しました。タイトル: VideoJev: System One Model for Video Understanding and Interaction URL: 動画の該当区間特定（時間的グラウンディング）と動画の質問応答を、どちらも「候補のスコアリング」として統一的に扱う設計です。3つの注目ポイントをまとめました。 🎯 生成ではなくスコアリング事前学習済みMLLMの出力ヘッドを候補スコアラーに置き換え、トークンを1つずつ生成する代わりに、時間区間やテキスト選択肢を直接スコアリングします。同じ学習データで比較しても、この方式は自己回帰的なファインチューニングをグラウンディングで1.3ポイント、QAで1.9ポイント上回りました。 ⚡ 2つの推論モードで賢く高速化動画を一度だけエンコードする「キャッシュ推論」と、複数のクエリを1回のフォワードパスでまとめて処理する「ジョイント推論」を用意。1動画に10クエリ投げても追加コストはわずか数十ミリ秒に抑えつつ、予測品質はむしろ向上します。 📈 驚異的な速度と精度の両立時間的グラウンディングでmIoUを最大10.8ポイント改善しつつ2.8〜3.1倍高速化、動画QAでは精度を維持したまま100倍超の高速化を達成しました。「考えてから答える」ではなく「即座に判断する」設計が、リアルタイムな視覚エージェントの実用化を大きく前進させそうです。 #動画AI# #AIエージェント#