cv usk(@cv_usk):TL;DR 「手伝って」と言われる前に、動画を見ながら先回りして助けるAIは作れるのか。意図が暗黙・変化する状況を、ベンチマーク、モデル、エージェント基盤の3点セットで扱った論文です。タイトル: StreamVibe: Proactive Video Agents for Evolving User Intent URL: https://t.co/vkTtRFsxb7 ポイント・🎯 意図を明示的・暗黙的・動的の3レベルに分類・📚 StreamVibe-Bench：評価4,100件、支援ポイント20,546、動画183.4時間・🧠 StreamVibe-VL：適応的SFTのあと、軌跡報酬つきGRPOで学習・🔇 RLで誤発火が減り、明示的意図のFPRは2.02（ViSpeakは12.75）・🗂 Harnessが有効な意図と進捗を管理し、動的意図で効果が大きい・📈 動的意図のPointwise F1はSFTの58.70からRLで66.34 ・⚠️ 長い対話ではまだ苦手で、動的のTrajectory C-F1は8.91 先回りの難しさは「いつ話すか」より「いつ黙るか」にあると実感する結果です。 #VideoAgents #VLM

2026.10.30 09:52

TL;DR 「手伝って」と言われる前に、動画を見ながら先回りして助けるAIは作れるのか。意図が暗黙・変化する状況を、ベンチマーク、モデル、エージェント基盤の3点セットで扱った論文です。タイトル: StreamVibe: Proactive Video Agents for Evolving User Intent URL: ポイント・🎯 意図を明示的・暗黙的・動的の3レベルに分類・📚 StreamVibe-Bench：評価4,100件、支援ポイント20,546、動画183.4時間・🧠 StreamVibe-VL：適応的SFTのあと、軌跡報酬つきGRPOで学習・🔇 RLで誤発火が減り、明示的意図のFPRは2.02（ViSpeakは12.75）・🗂 Harnessが有効な意図と進捗を管理し、動的意図で効果が大きい・📈 動的意図のPointwise F1はSFTの58.70からRLで66.34 ・⚠️ 長い対話ではまだ苦手で、動的のTrajectory C-F1は8.91 先回りの難しさは「いつ話すか」より「いつ黙るか」にあると実感する結果です。 #VideoAgents# #VLM#