登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 RLツアー
RLツアー コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
RLツアー を含む検索結果
RL_X_さんが2020-02-29 12:48:07に初めて田端でバタバタしました。
@hayashirazan_RL @suimogumogu 了解!背景の人物を烈海王に変えて編集したよ。どうかな?
アノテーションをRLの訓練シグナルとして使ったとき、なぜか優秀な行動に負の勾配がかかる —— OraRLはその仕組みを解明し、解決しました。 Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs ❓ アノテーションをrolloutとして使うと何が起きる? 💡 「Advantage Inversion(有利性の反転)」が起きます。GRPOの標準正規化では、グループ内rolloutの有利性を平均と分散で計算します。ここに高報酬のoracle rolloutを追加するとグループ平均が上昇し、ポリシー平均を超えているはずの良い行動が負の有利性を受ける逆転現象が発生します。92,024件の計測で、Naive oracle mixingでは42.5%のグループで反転が起きていました。 ❓ OraRLはどう解決する? 💡 5つのコンポーネントで有利性推定を分離します。まずoracle-freeなon-policyベースラインを構築し(分散正規化なしで定義上inversion不可)、oracle-policy gapから方向性ゲインを計算してポリシー平均超えrolloutを増幅します。oracle自体の有利性は最強のon-policyシグナルでスケール調整し、ポリシー全体を支配しないよう設計。符号均衡Pruning(正・負を等分保持)により反転率を最終0.3%まで圧縮し、1.48倍の速度向上も実現しています。 ❓ どれくらい強い? 💡 Video-ORA-9BはVSI-Benchで73.1を達成し、GPT-5(55.0)とGemini-3-Pro(55.1)を18ポイント以上上回りました。ReasonVOSセグメンテーションはバックボーン比+42.2、VideoHolmesは+15.2と大幅改善。訓練コストはSFTの2.2倍で済み、GRPO+CoT(4.9倍)の半分以下です。 ❓ 推論の効率は? 💡 CoTが不要なためP90推論レイテンシは25.15秒で、CoT付きバックボーンの62.67秒と比べて大幅に短縮。データ効率でもOraRLは100kプロンプトで+5.2pt、GRPOの+2.8ptを上回ります。 #VideoMLLM# #ReinforcementLearning#
もっと見る
両面RLやっぱりあったのか、、これはA面🥲
🔎 検索エージェントのRL学習が途中で伸びなくなる、その隠れた原因を突き止めた論文です。 タイトル: Harness-G: A Graph-Structured Harness for Search Agents URL: ❓ なぜ学習が崩壊するの? 💡 「検索等価性崩壊」が原因です。文字列は違うのに同じ証拠しか引かないクエリばかりになり、同じ証拠→同じ回答→同じ報酬でグループ内のアドバンテージが消え、学習信号が枯れてしまいます。 ❓ Harness-Gはどう解決するの? 💡 クエリを自由記述させるのをやめ、コーパスから作った段落-文-エンティティのグラフ上で「メニュー選択」に変えます。ポリシーは文字列でなく行動IDを選ぶだけ。有限・検証可能・先読み可能なので、検索結果の多様性が保たれます。 ❓ 信用割当(SNC)とは? 💡 凍結した回答器で「その行動が正解確率をどれだけ上げるか」を先読みし、他の候補との差で評価します(フロンティア相対)。さらに「先に橋渡しエンティティを見つける」ような後で効く一手を来歴を辿って後方伝播(イネーブルメント)。追加ロールアウト不要です。 ❓ 効果は? 💡 6つのQAでGraph-R1を1.5Bで+10.74、3Bで+3.98上回り両スケール最高。マルチホップで特に強く、グラフ構築はAPIコスト$0です。 #検索エージェント# #強化学習#
もっと見る
すごいな システムプロンプト側の工夫とハーネスに特化させるRLだけで6倍以上の費用対効果が生まれるのか...
事前学習、SFT、RLを別々の工程にする必要は、本当にあるのでしょうか? タイトル: Training Foundation Models with a Single Algorithm URL: 事前学習からRLまでを、1つの尤度ベースの損失と1つのトレーナーで同時に回す枠組みを示した論文です。 注目ポイント 🧩 RLも尤度フィッティング MaxRLの勾配は、成功した生成の分布へのMLEと同じ形になります。そのため事前学習・ミッドトレーニング・SFT・RLを、データの混合比と時期の違いとして扱え、段階的訓練はその特殊ケースになります。 📈 段階的訓練に勝つ 124Mモデルの推論パズルでは、最良の統一構成が3つの評価すべてで段階的訓練を上回りました。ミッドトレーニングを延ばしすぎる段階的訓練は悪化します。 🛡️ 忘れにくく、次に学びやすい 0.76Bモデルでは、未見コーパスの損失がベースより下がりました。段階的訓練では上がります。数学の後にコーディングRLを行うと、統一モデルは全て段階的モデルより高い最終精度でした。 小規模な実験ですが、基盤モデルの訓練を「どのデータを、いつ、どの割合で」の問題として捉え直す視点が面白いです。 #基盤モデル# #強化学習#
もっと見る
QTC! ハムフェア会場から、すべてのイベントRL局(JA1RL~JR0RL、JR6RL)の記念運用が行われます。→【ハムフェア2026】<145/435MHz帯に出られる無線機を持ってハムフェアに参加しよう>緊急告知! JARL創立100周年記念イベント局・JA1RL~JA0RLとJR6RLの記念運用が決定
もっと見る
動画が流れ続ける中で「今答えるか、まだ待つか」を学ぶ強化学習は、ターンごとの手柄の付け方が雑でした 🎥 Turns Matter: Advancing Streaming Video RL via Turn-Level Credit 📌 概要 ストリーミング動画理解向けに、ターン単位でクレジットを割り当てるGRPO拡張「TurnWise」を提案した論文です。クリティックも追加ロールアウトも不要です。 🚧 解決する課題 ・従来は軌跡全体の1つのアドバンテージを全ターンに配ります ・冗長な返答が先の成功の手柄をもらい、有用な追撃が先の失敗で罰せられます ・トークン平均の損失では、長い返答が短い「待つ」判断より重く扱われます 🔧 提案手法 ・あるターンまでの行動を残し、以降を無音(NO REPLY)に置き換えて採点し、ターンごとの寄与を分けます ・損失はターン内で平均してからターン間で平均し、返答も待機も同じ重みにします 🧪 実験結果 ・Qwen2.5-VL-3BのProactiveVQA平均PAUCは43.56で、最強の比較手法(39.60)より3.96ポイント上です ・Qwen3-VL-4Bでは42.44で、ThinkStream(36.18)を6.26ポイント上回りました ・冗長な返答の割合は、クレジットのみの場合から61.5%減りました 評価は2モデル・3ベンチマークで、シード間の分散は報告されていません。 #動画理解# #強化学習#
もっと見る