TL;DR: 「あなたが使うモデルは、事前学習されたモデルではない」。基盤モデルを役立つ行動方針に変えるポストトレーニングを、模倣→比較→探索→検証→転移→予期の6段階で一望できる87枚の講義デッキです。 タイトル: Post-Training LLMs（Kawin Ethayarajh, AI and Economics Summer Institute 2026） URL: ポイント 📝 SFT: デモを見せて模倣。計画やツール利用を含む軌跡全体を教えられるが、本質は模倣 ⚖️ オフライン選好最適化: 勝ち負けの比較で学ぶ。DPOは報酬モデルを省略、KTOは結果単位で学びSFT不要 🎲 オンラインRL: 現方策が探索。REINFORCE/PPO/GRPO、報酬はほぼ系列単位 ✅ RLVR: 報酬モデルをチェッカーに置換。二値の合否で十分、RLHFより予測可能にスケール 🧪 環境: RLはタスク+データ+インターフェース+テストのサンドボックス。ボトルネックは例から環境へ 🔁 On-Policy蒸留: 生徒の軌跡を教師が採点。RLの方策を7〜10倍少ないステップで複製 🌐 World Adaptation: 環境がエージェントに適応し返す。機械可読性を高める「メカ・ナッジ」 経済学の視点も織り込んだ、実務者に効く体系的な地図です。 #LLM# #PostTraining#

ポストトレーニングは本当に新しい能力を生んでいるのでしょうか。それとも、もともとあった能力を研ぎ澄ましているだけなのでしょうか。 タイトル: Sharpening Tax in Post-Training URL: ❓ 何が意外な発見だったのですか？ 軽量なハーネスを与えただけの事前学習済みベースモデルが、エージェントタスクをこなせてしまうことです。単発精度では遥かに劣りますが、試行回数を増やすと解の網羅性でポストトレーニング済みモデルを追い越します。gemma-4-31BのWebShopでは、ベースがpass@128で85%超に達したのに対し、RL版は56%でした。 💡 なぜそんなことが起きるのですか？ ポストトレーニングがタスクを「常に解ける」と「決して解けない」の二極へ寄せてしまうからです。同じ設定で、追加試行が失敗を成功に変えうる中間層は87.6%から30.0%へ激減し、常に失敗する側は12.4%から44.0%へ増えました。試行を重ねても伸びしろが残っていないわけです。 ❓ Sharpening Taxとは何ですか？ ベースモデルと比べてテスト時スケーラビリティがどれだけ失われたかを、1つの数値で表す診断指標です。42の組み合わせのうち36で正の値となり、モデルが大きいほど税は重くなります。しかも8回の試行から推定した値で、32回時点の税をスピアマン相関0.85という精度で予測できます。 💡 避けることはできるのですか？ 完全には無理ですが、軽減はできます。提案手法PTGSは、プロンプトごとの難易度をベイズ推定し、難しいものは温度を上げて探索を促し、簡単なものは下げて一貫性を強めます。RLの損失には手を加えず追加計算も不要で、PPOとGRPOの両方で精度と網羅性を同時に改善しました。 #強化学習# #LLM#

運用中のAIエージェントのやり取りそのものが、モデルを賢くする教師データになるという論文です。 NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness 🧩 概要 リクエストの難易度に応じて処理を振り分ける「ルーティング・ハーネス」の運用ログを、追加の合成データなしにそのまま学習データへ変換し、モデルを再帰的に改善する仕組みを提案しています。 ❓ 解決する課題 再帰的自己改善には「自分の能力を観測し学習に還元する仕組み」が必要ですが、多くの手法は別途データパイプラインを必要としていました。日々の運用ログにその材料が眠っている点に着目しています。 ⚙️ 方法論 実行トラジェクトリをユーザーターン単位で構造化し、6軸の意味評価と構造検証で品質管理。ルーティングスコアを難易度の目安として3段階カリキュラム学習とオンポリシー蒸留に活用し、評価結果をもとに苦手分野へ次の学習データを重点配分します。 📊 実験結果 10種のエージェント・コーディング・指示追従ベンチマークで、4Bモデルはマクロ平均58.94→64.87、9Bモデルは65.60→69.04まで向上。公開合成データ比でもマクロ平均+6.26ptという結果でした。 #AIエージェント# #自己改善#

MindLabとFudan大学が「LongStraw」という手法を発表した（https://arxiv[.]org/pdf/2607.14952）。GPUの台数を増やさずに、210万トークンを超える長い文脈で強化学習の事後学習(RL post-training、学習済みモデルをさらに強化学習で仕上げる工程)を回せるようにする実行方式。 背景にはギャップがある。推論(学習済みモデルを動かして応答を作る段階)のcontext長は100万トークン級に近づいているのに、事後学習は256Kトークン以下にとどまりがち。AIエージェントは観察結果やツールの出力、それまでの判断を溜め込みながら動くため、この差が特に効いてくる。 原因はGRPO(複数の応答をグループ内で相対比較して学習する強化学習の手法)特有の事情。同じ長いプロンプトに対して複数の応答をスコアリングし逆伝播する必要があるため、プロンプト分と応答分の計算グラフを同時にGPUメモリへ抱え込んでしまう。LongStrawは共有プロンプトを最初に1回だけ勾配計算なしで評価し、あとで必要になる状態だけを残す。そのうえで短い応答を1本ずつ勾配ありで組み立てては逆伝播後すぐ解放し、次の応答に進む。プロンプトと全応答を同時に抱えなくてよくなる代わりに、再生の分だけ処理時間は増える。 これを構造の異なる2つのモデルに実装している。再帰的に状態を更新する層(GDN)と通常のattention層を組み合わせたQwen3.6-27Bでは、8台のH20 GPUだけで約210万トークンの文脈をグループサイズ2および8で処理でき、グループサイズを2から8へ4倍にしてもピークメモリはわずか0.21GB(0.213%)しか増えない。別のストレステストでは約446万トークン(4,456,448)まで到達した。KV情報を圧縮して保持するMLAと、限られた候補だけに注意を絞る疎attention(DSA)を組み合わせ、専門家混合(MoE)も使うGLM-5.2でも、32台のH20 GPUで約210万トークンの文脈を全78層にわたって処理できることを確認している。 面白いのは「動いた」ことと「正しく学習できる」ことをはっきり切り分けて報告している点。プロンプト側の勾配はあえて切り離している。Qwenは複数GPU間で、注意機構の鍵と値にあたるK/Vに由来する勾配の同期が、追加学習パラメータ(LoRA)については完了していない。GLMも疎attentionの候補選択が各GPU内で閉じたままになっている。論文自身が、これは実行できたことの証拠であって正しい分散学習の証明ではないとはっきり書いていて、GPUを増やすスケールアウトの路線とは逆に、決まった台数でどこまで粘れるかを検証しつつ限界も隠さず書いている姿勢に好感が持てる。

日経デジタルガバナンスにて、Sakana AIの「事後学習」技術と Sakana Chat / Namazuモデルに関する記事が掲載されました。 Namazuモデル開発をリードしたリサーチサイエンティストの菅沼雅徳とチーフサイエンティストの秋葉拓哉に取材いただきました。 記事: Sakana Chat: 取り組みの詳細 🐟 初の一般向けサービス 3月24日に公開した Sakana Chat は、これまで主に企業向けにAIシステムを提供してきたSakana AIにとって、初の一般ユーザー向けサービスです。 🧠 事後学習（Post-training）による進化 搭載している「Namazuモデル」のα版は、既存のオープンモデルに対し、独自の事後学習（Post-training）を施して構築したものです。ベースモデルの推論能力を損なうことなく、出力の中立性・事実の網羅性・日本語性能などを向上させています。世界トップ水準のオープンモデルをも意図したアラインメントへと調整できることは、様々な産業におけるAI導入にとっても重要な意味を持ちます。 🇯🇵 ソブリンAIへの新しいアプローチ 記事内、秋葉は「（ソブリンAIを開発する上で）日本が持つべき技術には様々なレイヤーがあり、事後学習もその一つとして貢献したい」と語っています。 ゼロから国産LLMを構築するアプローチに加えて、世界中で進化し続けるオープンウェイトモデルを土台に日本の文脈へ最適化するアプローチも、現実的な選択肢となり得ると考えています。