アノテーションをRLの訓練シグナルとして使ったとき、なぜか優秀な行動に負の勾配がかかる —— OraRLはその仕組みを解明し、解決しました。 Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs ❓ アノテーションをrolloutとして使うと何が起きる？ 💡 「Advantage Inversion（有利性の反転）」が起きます。GRPOの標準正規化では、グループ内rolloutの有利性を平均と分散で計算します。ここに高報酬のoracle rolloutを追加するとグループ平均が上昇し、ポリシー平均を超えているはずの良い行動が負の有利性を受ける逆転現象が発生します。92,024件の計測で、Naive oracle mixingでは42.5%のグループで反転が起きていました。 ❓ OraRLはどう解決する？ 💡 5つのコンポーネントで有利性推定を分離します。まずoracle-freeなon-policyベースラインを構築し（分散正規化なしで定義上inversion不可）、oracle-policy gapから方向性ゲインを計算してポリシー平均超えrolloutを増幅します。oracle自体の有利性は最強のon-policyシグナルでスケール調整し、ポリシー全体を支配しないよう設計。符号均衡Pruning（正・負を等分保持）により反転率を最終0.3%まで圧縮し、1.48倍の速度向上も実現しています。 ❓ どれくらい強い？ 💡 Video-ORA-9BはVSI-Benchで73.1を達成し、GPT-5（55.0）とGemini-3-Pro（55.1）を18ポイント以上上回りました。ReasonVOSセグメンテーションはバックボーン比+42.2、VideoHolmesは+15.2と大幅改善。訓練コストはSFTの2.2倍で済み、GRPO+CoT（4.9倍）の半分以下です。 ❓ 推論の効率は？ 💡 CoTが不要なためP90推論レイテンシは25.15秒で、CoT付きバックボーンの62.67秒と比べて大幅に短縮。データ効率でもOraRLは100kプロンプトで+5.2pt、GRPOの+2.8ptを上回ります。 #VideoMLLM# #ReinforcementLearning#