cv usk(@cv_usk):TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: https://t.co/2G5qWbeQoC ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失いますただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM #推論基盤

2026.10.11 09:50

TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失いますただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#

显示更多