動画が流れ続ける中で「今答えるか、まだ待つか」を学ぶ強化学習は、ターンごとの手柄の付け方が雑でした 🎥
Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
📌 概要
ストリーミング動画理解向けに、ターン単位でクレジットを割り当てるGRPO拡張「TurnWise」を提案した論文です。クリティックも追加ロールアウトも不要です。
🚧 解決する課題
・従来は軌跡全体の1つのアドバンテージを全ターンに配ります
・冗長な返答が先の成功の手柄をもらい、有用な追撃が先の失敗で罰せられます
・トークン平均の損失では、長い返答が短い「待つ」判断より重く扱われます
🔧 提案手法
・あるターンまでの行動を残し、以降を無音(NO REPLY)に置き換えて採点し、ターンごとの寄与を分けます
・損失はターン内で平均してからターン間で平均し、返答も待機も同じ重みにします
🧪 実験結果
・Qwen2.5-VL-3BのProactiveVQA平均PAUCは43.56で、最強の比較手法(39.60)より3.96ポイント上です
・Qwen3-VL-4Bでは42.44で、ThinkStream(36.18)を6.26ポイント上回りました
・冗長な返答の割合は、クレジットのみの場合から61.5%減りました
評価は2モデル・3ベンチマークで、シード間の分散は報告されていません。
#
動画理解# #
強化学習#