Snowflakeは地味（？）にLLM関連で面白いR&Dをしてたります。日本語でブログにしたのでご興味あれば読んでみてください。 【ArcticInference と Semi-Persistence で vLLM のモデルスワップを高速化する】 【Arctic RLによる強化学習ポストトレーニングの「統一システムバックエンド」】

Speculative Decodingが速い理由は計算量が減るからではなく、GPUの仕事の性質が変わるからだ、という記事。観点が面白かった。 ・Speculative Decodingが速いのは少ない計算で済むからではない ・速さの理由は、GPUが待っている時間を有効に使えるようになるから ・通常のデコーディングは1トークンずつ生成する ・この状態ではメモリの読み込み待ちが支配的（メモリバウンド） ・GPUの計算能力の大半は遊んでいる ・Speculative Decodingでは、小さいモデルが複数トークンの草案をまとめて出す ・大きいモデルはその草案を1ステップで並列に検証する ・これでメモリバウンドからコンピュートバウンドに寄り、遊んでいた計算能力を使える ・ただ、バッチサイズが大きいと話が変わる ・GPUに空きがなく、拒否された草案のトークンは純粋なオーバーヘッドになる ・vLLMにはバッチサイズに応じてSpeculative Decodingを自動で無効化する機能がある

TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。 タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失います ただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#

# ADK 2.0の便利だけど知られていない機能 🌍 クラウドAPIに依存せず、手元のマシンやエッジデバイスでLLMを動かしてエージェントを構築できたらと思いませんか？ ADK 2.0は、LiteRT-LM・vLLM・Ollamaを使ったローカルホスティングやセルフホスティングに対応しており、クラウド非依存のエージェント構築が可能です。 📌 タイトル：LiteRT-LM / vLLM / Ollama によるローカル・自前ホスティング 🔗 URL： 🧩 概要 LiteRT-LMは、エッジプラットフォーム向けに最適化されたC++ベースの推論ライブラリです。`lit pull`でモデルをダウンロードし、`lit serve`でローカルサーバーを起動するだけで、ADKエージェントからローカルモデルを利用できます。ADK側は`base_url`パラメータでローカルエンドポイントを指定するだけです。同様の仕組みで、vLLMやOllamaでホスティングしたモデルも利用可能です。 🛠 使い方 LiteRT-LMの場合、まずモデルのダウンロードとサーバー起動を行います。 ```bash # モデルのダウンロード lit pull gemma3n-e2b # ローカルサーバーの起動 lit serve --port 8001 ``` ADKエージェントからは`base_url`を指定して接続します。 ```python from google.adk.agents import Agent from google.adk.models import Gemini agent = Agent( name="local_agent", model=Gemini( model="gemma3n-e2b", base_url="http://localhost:8001", ), instruction="ローカルモデルでタスクを処理してください", ) ``` デバッグ時には`--verbose`フラグを使用してリクエスト/レスポンスの詳細を確認できます。 🏗 本番システムへの組み込み方 ・エッジデバイスでの推論にはLiteRT-LMを使い、レイテンシとプライバシーを最適化する ・GPU サーバーでの高スループット推論にはvLLMを活用する ・開発・プロトタイピングにはOllamaで手軽にモデルを試す ・ローカルサーバーのヘルスチェックとリソース監視を組み込み、安定稼働を確保する 💡 ユースケース 🏥 患者データを外部に送信できない医療現場でのオンプレミスAI 🏭 工場のエッジデバイスでのリアルタイム品質検査 🔐 機密情報を扱う環境でのデータ主権の確保 ✈️ ネットワーク接続が不安定な環境でのオフライン対応エージェント ⚠️ 注意点 ローカルモデルはクラウドの大規模モデルと比較して性能が劣る場合があります。エッジデバイスではメモリやコンピュート制約に注意し、モデルサイズを適切に選択してください。LiteRT-LMはC++ライブラリのため、プラットフォームごとのビルド互換性を事前に確認する必要があります。また、モデルの更新やバージョン管理はクラウドAPIと異なり手動で行う必要があります。 ✨ ローカルホスティングにより、プライバシー・レイテンシ・オフライン対応のすべてを満たすエージェントを構築できます。用途に応じてLiteRT-LM・vLLM・Ollamaを使い分けてください。 #ADK# #AIAgent#

長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#

LocalAIが一部の推論エンジンをPythonではなくC/C++で自作しているというブログエントリ。 ・LocalAIは基本的には既存の推論エンジンをラップして使っている ・ただ、18個のバックエンドはC/C++を使ってゼロから自作している ・理由は、数GBのPython環境への依存や特定のGPU環境への縛りを避けるため ・実際、vLLMのPython環境は9.1GBに達する ・だが、C++で移植したvllm.cppはわずか66MBの単一バイナリで済む ・しかも推論速度は元のvLLMとほぼ同等で、出力結果も完全に一致する ・とはいえ、すべてのエンジンを自作するわけではない ・各エンジンの保守コストは高く、GPU最適化で専用ライブラリに劣ることも ・llama.cppのような優秀なプロジェクトは、引き続きラップして使う

TL;DR 質問を待たず、毎秒「黙る／話す／委譲する」を自分で決める8BのビジョンファーストVLM。監視・実況・翻訳など“タイミングが命”のタスクで、DoubaoやGeminiに人手評価で勝ち越しました👀 タイトル: JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence URL: ポイント 🟢 毎秒3値判断：（見守り）/（発話）/（背景処理へ委譲）をモデル内部で決める 🎞️ AdaCodecで予測符号化：シーン変化時だけフルViTトークン、間は約16トークンに圧縮し無限ストリームを処理 ⏱️ 時間認識：経過時間マーカー（例 <4.0 seconds>）と1Hzサンプリングで秒単位に応答を紐付け 🧠 記憶階層：短期100秒→中期500秒→長期7,500秒、vLLMプレフィックスキャッシュで2時間超もサブ秒 📊 学習：沈黙を第一級カテゴリ化、重み付きFT＋GRPO（誤報や遅延を罰則化）、400万超の時刻整列クリップ 🏆 6シナリオ58ケースの人手評価で総合勝率 Doubao比77.6%/Gemini比87.9%、アラートは満点 ✨ 未学習の創発能力：画面変化のユーザー誘導やスライドからの即興プレゼンも観測 「いつ話すか」を外部トリガーでなくモデルの中に持たせる設計が、常時稼働の見守りプロダクトに効きそうだと感じます。 #マルチモーダル# #リアルタイムAI#

🫀･ ｡ + 💗∴｡ ･ﾟ* ｡ + ･ 　 ･ 🫀 *ﾟ｡ * 　 ﾟ *｡･ﾟ+ ｡💗 　 ･ ｡° *. ﾟ . 🫀 . * ｡ * ｡ + ｡ * +･｡. 💗..+ #INIとパルす#