🕵️ エージェントの失敗原因は、「失敗」ではなく「成功の流れ」から見つけられるかもしれません。 タイトル: Tracing Agentic Failure from the Flow of Success URL: 🧩 概要 成功した軌跡だけで学習し、失敗した軌跡のどのステップが原因かをラベルなしで特定する手法「Oat」の提案です。NeurIPS 2026 採択。 🎯 解決する課題 従来の失敗帰属は、高価なLLMプロンプティングか、ステップ単位のラベル付き失敗データが必要でした。どちらもコストが重い点が課題です。 🔧 方法論 ・各ステップをLLMの隠れ状態で表現 ・Neural CDEで成功軌跡のダイナミクスを学習 ・ゲート付き制御パスで分布シフトに頑健に ・推論時は、学習した流れから外れたステップを異常スコアで検出（Top-kまたは共形予測） 学習に使う成功軌跡は約100件だけです。 📊 実験結果 ・ドメイン内F1: Oat 0.435に対し、GPT-4oは0.212、GPT-5は0.181 ・分布外でもF1が約+7ポイント ・1軌跡あたり約7ms（トークン0）。GPT-5は約39.6秒 ・スコア計算のみで200〜5000倍高速 #AIエージェント# #LLM#

TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。 タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失います ただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#