アノテーションをRLの訓練シグナルとして使ったとき、なぜか優秀な行動に負の勾配がかかる —— OraRLはその仕組みを解明し、解決しました。 Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs ❓ アノテーションをrolloutとして使うと何が起きる？ 💡 「Advantage Inversion（有利性の反転）」が起きます。GRPOの標準正規化では、グループ内rolloutの有利性を平均と分散で計算します。ここに高報酬のoracle rolloutを追加するとグループ平均が上昇し、ポリシー平均を超えているはずの良い行動が負の有利性を受ける逆転現象が発生します。92,024件の計測で、Naive oracle mixingでは42.5%のグループで反転が起きていました。 ❓ OraRLはどう解決する？ 💡 5つのコンポーネントで有利性推定を分離します。まずoracle-freeなon-policyベースラインを構築し（分散正規化なしで定義上inversion不可）、oracle-policy gapから方向性ゲインを計算してポリシー平均超えrolloutを増幅します。oracle自体の有利性は最強のon-policyシグナルでスケール調整し、ポリシー全体を支配しないよう設計。符号均衡Pruning（正・負を等分保持）により反転率を最終0.3%まで圧縮し、1.48倍の速度向上も実現しています。 ❓ どれくらい強い？ 💡 Video-ORA-9BはVSI-Benchで73.1を達成し、GPT-5（55.0）とGemini-3-Pro（55.1）を18ポイント以上上回りました。ReasonVOSセグメンテーションはバックボーン比+42.2、VideoHolmesは+15.2と大幅改善。訓練コストはSFTの2.2倍で済み、GRPO+CoT（4.9倍）の半分以下です。 ❓ 推論の効率は？ 💡 CoTが不要なためP90推論レイテンシは25.15秒で、CoT付きバックボーンの62.67秒と比べて大幅に短縮。データ効率でもOraRLは100kプロンプトで+5.2pt、GRPOの+2.8ptを上回ります。 #VideoMLLM# #ReinforcementLearning#

【お知らせ】 4月3日〜5日に台北で開催されるイベント 『A.C.F動漫祭』のアンバサダーに就任しました！ 撮影や即売会にも参加する予定なので 続報をお待ちください🥳✨ 🔻 4/3-4/5 ACF秋葉原動漫祭 KiraKira Rollout 松菸見✨

👋大家好，我是 YIYI 👋 Hi everyone, I’m YIYI. 和家人们来报道我的新身份啦——HTX 文化大使。 Excited to share my new role with you all — HTX Cultural Ambassador. 听起来挺“正式”的，但这个角色的核心其实很简单也很温暖：在中文区和英文区之间做一个小小的桥梁，把最一手，最alpha的内容双向分享。 It might sound “official,” but really, it’s simple and warm: being a small bridge between the Chinese and English communities, sharing the freshest, most alpha content both ways. 👇接下来我的努力方向： Here’s what I’ll be focusing on next: 🫶把中文区alpha的内容分享给英文区的朋友； Bringing alpha content from the Chinese community to friends in the English community. 🫶把英文区的新鲜事和文化带回中文区； Bringing the latest trends and culture from the English community back to the Chinese community. 🫶HTX的高亮内容、“小故事”会同步在中英区讲给更多人听； Sharing HTX highlights and little stories with both communities at the same time. 之后我会陆续推出一些多语言多文化的内容和交流， I’ll gradually roll out more bilingual and cross-cultural content and exchanges. 希望能通过自己的努力让两个文化真正听见彼此、看到彼此，欢迎随时在评论区下留言或dm我。 Hoping that through my efforts, both communities can truly hear and see each other — feel free to leave a comment or DM me anytime 💗来～我们，交个朋友。 So… let’s be friends! @HTX_Global @HTXChinese