強化学習で鍛えた大きな教師モデルの「変化」を、小さな生徒モデルにどう正しく伝えるか。そのヒントは訓練の「途中経過」にありました。 タイトル: Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation URL: Alibaba Cloudの研究チームが、教師モデルのRL訓練中の中間チェックポイントを使って蒸留の精度を高める手法Waypoint-OPDを提案しました。 注目ポイント1 🧭 「途中経過」を見て方向性を確認する 通常の蒸留は訓練前と後の2点だけを比較しますが、Waypoint-OPDは中間チェックポイントを追加し、前半と後半のポリシー変化が同じ方向を向いているかをコサイン類似度で測ります。方向が一致しないトークンの寄与は自動的に弱められます。 注目ポイント2 📈 数学・コードの両領域で一貫して改善 Qwen3-8B/14B/30B-A3Bの3サイズで、数学7ベンチマーク・コード5ベンチマークのすべてでDirect-OPDを上回りました。改善幅は数学で1.59〜2.18ポイント、コードで1.19〜2.66ポイントで、Qwen3-14Bは全7つの数学ベンチマークで教師モデル自体を上回っています。 注目ポイント3 ⚙️ 実装は軽量、頑健性も高い 追加で必要なのは凍結した教師モデルによるスコアリングをもう1回通すだけで、新しい学習パラメータや検証器呼び出しは不要です。中間チェックポイントの位置をRLの500/600/700ステップで変えてもスコアの差は0.05ポイントしかなく、選び方に神経質になる必要がないことも確認されました。 終点だけを見る蒸留では見落としていた「訓練過程の方向性」を活用することで、計算コストをほぼ増やさずに蒸留品質を高められるという実用的な知見です。 #蒸留# #強化学習#