cv usk(@cv_usk):事前学習、SFT、RLを別々の工程にする必要は、本当にあるのでしょうか？タイトル: Training Foundation Models with a Single Algorithm URL: https://t.co/MrgeQ3OJhs 事前学習からRLまでを、1つの尤度ベースの損失と1つのトレーナーで同時に回す枠組みを示した論文です。注目ポイント 🧩 RLも尤度フィッティング MaxRLの勾配は、成功した生成の分布へのMLEと同じ形になります。そのため事前学習・ミッドトレーニング・SFT・RLを、データの混合比と時期の違いとして扱え、段階的訓練はその特殊ケースになります。 📈 段階的訓練に勝つ 124Mモデルの推論パズルでは、最良の統一構成が3つの評価すべてで段階的訓練を上回りました。ミッドトレーニングを延ばしすぎる段階的訓練は悪化します。 🛡️ 忘れにくく、次に学びやすい 0.76Bモデルでは、未見コーパスの損失がベースより下がりました。段階的訓練では上がります。数学の後にコーディングRLを行うと、統一モデルは全て段階的モデルより高い最終精度でした。小規模な実験ですが、基盤モデルの訓練を「どのデータを、いつ、どの割合で」の問題として捉え直す視点が面白いです。 #基盤モデル #強化学習

2026.11.03 02:36

事前学習、SFT、RLを別々の工程にする必要は、本当にあるのでしょうか？タイトル: Training Foundation Models with a Single Algorithm URL: 事前学習からRLまでを、1つの尤度ベースの損失と1つのトレーナーで同時に回す枠組みを示した論文です。注目ポイント 🧩 RLも尤度フィッティング MaxRLの勾配は、成功した生成の分布へのMLEと同じ形になります。そのため事前学習・ミッドトレーニング・SFT・RLを、データの混合比と時期の違いとして扱え、段階的訓練はその特殊ケースになります。 📈 段階的訓練に勝つ 124Mモデルの推論パズルでは、最良の統一構成が3つの評価すべてで段階的訓練を上回りました。ミッドトレーニングを延ばしすぎる段階的訓練は悪化します。 🛡️ 忘れにくく、次に学びやすい 0.76Bモデルでは、未見コーパスの損失がベースより下がりました。段階的訓練では上がります。数学の後にコーディングRLを行うと、統一モデルは全て段階的モデルより高い最終精度でした。小規模な実験ですが、基盤モデルの訓練を「どのデータを、いつ、どの割合で」の問題として捉え直す視点が面白いです。 #基盤モデル# #強化学習#