cv usk
@cv_usk
AI / Software Research Notes
AI Agent, LLMOps, MLOps, Software Architecture
投稿は個人の意見です。
가입 May 2026
286 팔로잉 중 470 팬
事前学習、SFT、RLを別々の工程にする必要は、本当にあるのでしょうか？
タイトル: Training Foundation Models with a Single Algorithm
URL:
事前学習からRLまでを、1つの尤度ベースの損失と1つのトレーナーで同時に回す枠組みを示した論文です。
注目ポイント
🧩 RLも尤度フィッティング
MaxRLの勾配は、成功した生成の分布へのMLEと同じ形になります。そのため事前学習・ミッドトレーニング・SFT・RLを、データの混合比と時期の違いとして扱え、段階的訓練はその特殊ケースになります。
📈 段階的訓練に勝つ
124Mモデルの推論パズルでは、最良の統一構成が3つの評価すべてで段階的訓練を上回りました。ミッドトレーニングを延ばしすぎる段階的訓練は悪化します。
🛡️ 忘れにくく、次に学びやすい
0.76Bモデルでは、未見コーパスの損失がベースより下がりました。段階的訓練では上がります。数学の後にコーディングRLを行うと、統一モデルは全て段階的モデルより高い最終精度でした。
小規模な実験ですが、基盤モデルの訓練を「どのデータを、いつ、どの割合で」の問題として捉え直す視点が面白いです。
#基盤モデル# #強化学習#
더 보기
