強化学習で鍛えた大きな教師モデルの「変化」を、小さな生徒モデルにどう正しく伝えるか。そのヒントは訓練の「途中経過」にありました。 タイトル: Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation URL: Alibaba Cloudの研究チームが、教師モデルのRL訓練中の中間チェックポイントを使って蒸留の精度を高める手法Waypoint-OPDを提案しました。 注目ポイント1 🧭 「途中経過」を見て方向性を確認する 通常の蒸留は訓練前と後の2点だけを比較しますが、Waypoint-OPDは中間チェックポイントを追加し、前半と後半のポリシー変化が同じ方向を向いているかをコサイン類似度で測ります。方向が一致しないトークンの寄与は自動的に弱められます。 注目ポイント2 📈 数学・コードの両領域で一貫して改善 Qwen3-8B/14B/30B-A3Bの3サイズで、数学7ベンチマーク・コード5ベンチマークのすべてでDirect-OPDを上回りました。改善幅は数学で1.59〜2.18ポイント、コードで1.19〜2.66ポイントで、Qwen3-14Bは全7つの数学ベンチマークで教師モデル自体を上回っています。 注目ポイント3 ⚙️ 実装は軽量、頑健性も高い 追加で必要なのは凍結した教師モデルによるスコアリングをもう1回通すだけで、新しい学習パラメータや検証器呼び出しは不要です。中間チェックポイントの位置をRLの500/600/700ステップで変えてもスコアの差は0.05ポイントしかなく、選び方に神経質になる必要がないことも確認されました。 終点だけを見る蒸留では見落としていた「訓練過程の方向性」を活用することで、計算コストをほぼ増やさずに蒸留品質を高められるという実用的な知見です。 #蒸留# #強化学習#

🧬 「抗がん活性があって毒性の低いペプチドを作って」という自然言語の指示だけで、分子生成モデルを目標に導けるようになりました。 タイトル: LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators URL: 分子やペプチドを生成するFlow/Diffusionモデルは優秀ですが、自然言語の目標に合わせて調整するには通常、明示的な報酬関数（プロキシ指標）が必要でした。この論文のLFDはLLMを教師、生成モデルを学生とすることでこの壁を取り払います。注目ポイントは3つです。 🎯 プロキシ報酬なしで目標に整合 LLMが生成サンプルを見ながら「今の実力で届く部分目標」を段階的に設定し、DPOで生成モデルを少しずつ目標領域へ導きます。 📊 絶対評価は不正確でも相対判定は信頼できる LLMに1〜100点をつけさせると真値から大きくズレますが、どちらが優れているかのペア判定は一貫して信頼できることを実証し、スケーラブルなバッチ分類方式を採用しています。 🏆 既存手法を一貫して上回る実験結果 細胞貫通ペプチドでpLM4CPPsスコア69.06%（DiffusionNFTの57.04%超え）、抗がんペプチドで53.54%（Guidanceの35.94%超え）、ドパミンD2受容体ドッキングでもVinaスコア-8.48で全手法中最良を記録しました。 プロキシ報酬を用意できない実験科学の現場でこそ効くアプローチだと感じます。 #LLM# #AI創薬#

TL;DR: 生成型LLMの順位付けの判断を、1回の順伝播で動くリランカーに蒸留する手法です。8Bの生徒が、リストワイズのリランカーに近い精度を約24倍の速さで出します。 DecisionRank: On-Policy Distillation for Decision-Model Rerankers ポイント ・🎯 各候補に単一トークンIDを割り当て、最初のトークンのロジットを並べて順位を出します ・🔁 教師と生徒を、語彙ではなく候補アイテム単位で合わせるので、語彙やアーキテクチャが違っても蒸留できます ・👀 生徒の上位20件の並びを教師に評価させる、オンポリシーのフィードバックを使います ・📐 オフラインのRankNet損失と組み合わせて学習します ・📊 DecisionRank-8BはTREC DLで64.34、リストワイズのDirectRank-8B(62.92)を上回りました ・⚡ レイテンシは同じ8BのDirectRankの約24.5分の1です(TREC DL、B200+vLLM) R2MEDではDirectRank-8Bに届かず、BRIGHTでは27Bの教師が上です。それでも、速度と精度のバランスは実用的です。 #リランキング# #知識蒸留#

TL;DR: オンポリシー蒸留で教師モデルを超えようとする既存手法は出力空間でのノイズ増幅により不安定になりがちでしたが、RL前後の表現変化を「表現空間」で直接外挿する新手法RIDEが、4つのモデルペア全てで教師超えを達成しました。 タイトル: The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation URL: ポイント 🎯 教師を「目的地」ではなく「方向」として捉え、RL前後の隠れ状態の差分（残差）をさらに外挿したターゲットへ生徒を回帰させる ⚠️ 出力ヘッドは異方性ゆえに変化の大部分を減衰させる。弱い512方向が隠れ状態エネルギーの79.8%を占めるのに出力空間では30.0%しか残らない 📉 出力空間での外挿は分散が(λ-1)²で増幅し不安定化。RIDEの勾配分散はExOPD比12.6倍小さい 📊 4モデルペア全てで教師超え：R1-Distill-1.5Bで56.38、Qwen3-4Bで66.07など、OPRD比+0.97〜4.06ポイント改善 ❌ 出力空間での外挿手法ExOPDは4ペア全てで教師にもOPRDにも劣る結果に 🔬 ランダム方向や逆方向への外挿では性能が伸びず、RL誘発方向そのものが効いていることをアブレーションで確認 「教師を超える」という目標に対し、どこで差分を測るかという設計一つで結果がここまで変わるのは興味深いです。 #蒸留# #強化学習#

TL;DR 音声LLMのエンコーダを18層から14層まで削っても精度がほぼ落ちない、XPengの圧縮手法「X-AuT」が公開されました。むしろ16層構成では精度が向上しています。 タイトル: X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation URL: ポイント ✂️ 音声エンコーダの層を18→16→14と段階的に削減する「プログレッシブプルーニング」を採用しています 🔍 個々の層の削減スコアだけでは最適なペアが分からず、層同士の相互作用まで評価しているのが面白い点です 🎓 0.6Bの学生モデルを1.7Bの大きな教師モデルで蒸留する「クロススケール蒸留」で自己蒸留より大きく精度を改善しています 📈 16層構成ではパラメータ10.35%削減しつつマクロ平均エラー率5.61%→5.27%に改善 📉 14層構成でもパラメータ20.70%削減で精度低下はわずか+0.14ptに抑えられています 🚗 車載チップ上でエンコーダ処理時間を21.4%、全体レイテンシを4.7%削減しています 🔓 コードとモデルはGitHub・Hugging Faceで公開済み（CC BY-NC 4.0） 層を削るだけでなく「どう賢く削って回復させるか」の設計がよく練られていると感じました。 #音声LLM# #モデル圧縮#

🎨 「見る」と「創る」を同じモデルの中で育て合わせる、統合視覚AIの新作が登場しました。 タイトル: SenseNova-U1.5: Towards Native Unified Visual Intelligence URL: 🧩 概要 OpenSenseNovaが開発した8B規模のMixture-of-Transformersモデルで、外部の視覚エンコーダやVAEを一切使わず、生のピクセルを直接扱いながら画像理解・推論・生成・編集を1つのモデルでこなします。 ⚙️ 解決する課題 従来の統合モデルは理解系と生成系で別々の潜在空間を経由することが多く、整合性のロスが生じがちでした。理解と生成を共有表現の上で本当に一体化させることを目指しています。 🛠 方法論と提案手法 視覚トークンを2次元特徴フィールドに投影し、隣接する32×32領域間で情報をやり取りしながら再構成する空間デコーダを採用。さらに美的品質・OCR・編集・インフォグラフィックの4専門家をRLで個別に鍛えた後、On-Policy Distillationで1つのモデルへ統合します。 📊 実験結果 GenEval総合0.92、画像編集ベンチマークImgEditで4.59（前作U1は3.90）、ビジネス文書生成BizGenEvalでは前作51.4%から72.2%へ大幅向上と、理解・生成・編集の全方位で前作や競合を上回りました。 #統合マルチモーダルAI# #画像生成#

1時間級の長尺動画を丸ごと理解し、ツールも検索も使いこなす——総30Bパラメータでも推論時はわずか3Bで動く、効率的なマルチモーダルモデルです🎬 タイトル: Kwai Keye-VL-2.0 Technical Report URL: 🎬 概要 Kuaishou（快手）が開発した、長尺動画理解とエージェント的知能に特化したオープンソースのマルチモーダル基盤モデルです。Mixture-of-Experts（MoE）構成を採用し、総30Bパラメータのうち推論時に活性化するのは3Bのみという効率性を実現しています。 ❓ 解決する課題 時間単位（hour-level）の長い動画を扱うには、膨大な計算が必要になります。 ・フレーム数が多く、長距離の時間依存を捉えるのが難しい ・計算制約に対処しつつ、多様なタスクで高い性能を保つことが課題でした 💡 方法論と提案手法 ・長文脈処理：DeepSeek Sparse Attention（DSA）をGQAベースのアーキテクチャに適応させ、256Kコンテキストのロスレス処理を実現。重要なフレームと長距離の時間依存を捉えます ・インフラ：スケーラブルな動画I/O、異種のViT-LM並列化、カスタムのDSAカーネル ・訓練：マルチタスクのアライメント時に生じる破滅的忘却に対処するため、Cross-Modal Multi-Teacher On-Policy Distillation（MOPD）を、Context-RL・Video-RLと組み合わせます 📊 実験結果 ・同規模のモデルの中で最先端（SOTA）の性能を達成しました ・特に、TimeLensでの細粒度な時間的ローカライズで際立ちます ・Video-MME-v2とLongVideoBenchでの長尺動画理解でも優れています ・Code・Tool・Searchをまたぐマルチモーダルなエージェント協調や、自己修正能力も備えます 🌍 ユースケース 長い動画の理解・検索・モデレーション、動画を扱う自律エージェントの基盤などに向きます。スパースアテンションをこの規模のマルチモーダルに初めて適用した点で、時間単位の動画処理を計算コストを抑えて現実的に回せるのが大きな強みです。 #動画理解# #マルチモーダル#