Register and share your invite link to earn from video plays and referrals.

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
Joined May 2026
286 Following    474 Followers
動画が流れ続ける中で「今答えるか、まだ待つか」を学ぶ強化学習は、ターンごとの手柄の付け方が雑でした 🎥 Turns Matter: Advancing Streaming Video RL via Turn-Level Credit 📌 概要 ストリーミング動画理解向けに、ターン単位でクレジットを割り当てるGRPO拡張「TurnWise」を提案した論文です。クリティックも追加ロールアウトも不要です。 🚧 解決する課題 ・従来は軌跡全体の1つのアドバンテージを全ターンに配ります ・冗長な返答が先の成功の手柄をもらい、有用な追撃が先の失敗で罰せられます ・トークン平均の損失では、長い返答が短い「待つ」判断より重く扱われます 🔧 提案手法 ・あるターンまでの行動を残し、以降を無音(NO REPLY)に置き換えて採点し、ターンごとの寄与を分けます ・損失はターン内で平均してからターン間で平均し、返答も待機も同じ重みにします 🧪 実験結果 ・Qwen2.5-VL-3BのProactiveVQA平均PAUCは43.56で、最強の比較手法(39.60)より3.96ポイント上です ・Qwen3-VL-4Bでは42.44で、ThinkStream(36.18)を6.26ポイント上回りました ・冗長な返答の割合は、クレジットのみの場合から61.5%減りました 評価は2モデル・3ベンチマークで、シード間の分散は報告されていません。 #動画理解# #強化学習#
Show more