長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#

🚀 100万トークンのコンテキストを扱いながら、KVキャッシュを従来の4分の1まで絞り込んだモデルが登場しました。DeepSeekの新作です。 タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression URL: 💡 概要 552Bパラメータのマルチモーダルなミクスチャー・オブ・エキスパート（MoE）モデルで、長時間稼働するエージェント向けの「入力ヘビー」なワークロードを見据え、アーキテクチャと精度の両面からKVキャッシュを徹底的に圧縮しています。 🎯 解決する課題 長いコンテキストを扱うエージェントでは、プレフィル計算だけでなく、永続的なKVキャッシュがGPUメモリ・SSD・I/O帯域幅を圧迫し、デプロイコストの主なボトルネックになっていました。 🛠 方法論と提案手法 前半20層をエンコーダ、後半20層をデコーダとするCausal Encoder-Decoder構造でプレフィル計算量を半減。3モードで層間KVを再利用するCompressed Sparse Attention 2、候補プールに絞った階層型疎インデクサ、FP4量子化などを組み合わせています。 📊 実験結果 グローバルKVフットプリントは1トークンあたり890バイトでV4-Flashの約4分の1、永続KVは約8分の1に削減。コンテキストを4Kから100万へ256倍拡張してもデコードFLOPsは1/4しか増えません。HumanEval 79.4%など主要ベンチマークでも性能向上を確認しています。 #LLM# #KVキャッシュ#

💾 TL;DR: 別ノードのGPUが計算したKVキャッシュを、CXLメモリ経由でそのまま使い回して最大36.6倍高速化。SeagateがKubernetesネイティブな共有CXLメモリの仕組みを提案しました。 タイトル: Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving URL: 📌 ポイント 🧩 Kubernetes DRAドライバでCXLリージョンをスケジュール可能なリソース化 🗂 Redis等の外部調整なし、リージョン内蔵のスロットディレクトリでKV管理 🚀 32Kトークンのプレフィックスでクロスノード再利用が再計算比36.6倍高速 🎯 ヒット率は95.4〜99.5%を達成 ⚖️ クロスノードと同一ノードの遅延差はわずか1〜4% 🐢 同一ノードのGPU VRAMキャッシュと比べると1.15〜1.70倍のペナルティあり 🔧 実測帯域は5.8GB/sでファブリック上限27GB/sの一部、ゼロコピーDMAに伸びしろ 複数GPUノードでプレフィックスを使い回したいときの、地味だけど効く実用的な選択肢だと思います。 #LLM推論# #Kubernetes#

🌐 大規模ネットワークシステムの最前線NSDI 2026に、Microsoftが11本を発表しました。KVキャッシュ再利用で4倍スループット、CXLメモリでRDMA比3.2倍など、AI基盤の具体的な前進が並ぶダイジェストです。 タイトル: Microsoft at NSDI 2026: Advances in large-scale networked systems URL: 📝 概要 NSDIは、クラウド・AI・分散アプリ基盤の設計と運用に関する新しい研究を共有する主要な国際会議です。本記事は、Microsoftが発表したデータセンターネットワーク、広域ネットワーク、AIシステム、クラウドインフラにまたがる11本の採択論文を紹介しています。 ❓ 解決する課題 AIワークロードの急増に伴い、データセンターのネットワーク・メモリ・CPU資源を、信頼性とコスト効率を保ちながらスケールさせることが一層難しくなっています。本記事の研究群は、本番運用と研究の両面からその最前線に取り組んでいます。 💡 主要な研究貢献 ・DroidSpeak：同一アーキの言語モデル変種間でKVキャッシュを再利用し、出力品質への影響を最小限に抑えつつ最大4倍のスループットを実現します ・SONiC DASH SmartSwitch：クラウドのネットワークオフロードを再設計し、Azureで大規模に展開済み。電力と設置スペースの効率を大幅に改善します（コミュニティアワード受賞） ・Octopus：CXLの分離メモリポッドで、3サーバ試作機においてラック内RDMA比3.2倍、CXLスイッチ比2.4倍のRPCを達成します ・HarvestContainers：レイテンシ重視のコンテナから動的にコアを収穫し、テールレイテンシをスタンドアロン比4%以内に保ちながら空きCPUを最大75%活用します 🎯 ユースケース LLMサービングの高速化、メモリ分離（disaggregation）、コンテナのリソース有効活用、ネットワークプロトコルの検証など、クラウド・AI基盤の設計判断に役立ちます。 📊 そのほかの成果 ・Eywa：LLMベースのモデル生成により、ネットワークプロトコル実装で33件のバグ（うち16件は未知）を発見しました ・ForestColl：多項式時間でスケジュールを生成し、理論的に最適な集団通信を達成します ・AVA：10時間超の動画で75.8%の精度を出す動画解析ベンチマークです ・KRAKENGUARD：eBPFを用いた、マルチテナントセキュリティのための細粒度の分離です #NetworkedSystems# #AIInfrastructure#

モデルを切り替えるたびに会話の文脈を再計算し直すの、実はもったいないかもしれません。 タイトル: Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse URL: ❓ そもそも何をする研究？ 💡 NVIDIAの研究チームが、あるサイズのLLMが計算したKVキャッシュを、別サイズの同系統モデルにそのまま「翻訳」して使い回す手法を提案しました。学習不要、閉形式のリッジ回帰だけで変換できます。 ❓ なぜモデルサイズをまたいで使い回したいの？ 💡 実運用ではコストと品質のバランスを取るために、小さいモデルから大きいモデルへエスカレーションしたり、会話途中でモデルを切り替えたりします。そのたびにゼロから文脈を再計算（re-prefill）するのは無駄が多いためです。 ❓ 精度は落ちないの？ 💡 良い組み合わせでは元モデル単体の73〜98%の精度を維持します。相性の悪いペアでは大きく劣化しますが、小さなMLPを追加するだけでHellaSwagが最大36.8ポイント回復しました。 ❓ どれくらい速くなるの？ 💡 再prefillと比べて2.7〜25倍高速。32Kトークンの長い文脈では最大25倍の差がつき、10ターン程度の会話でも精度の劣化はごくわずかでした。 #LLM# #KVキャッシュ#

💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。 長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る、特定の箇所だけを見る、直近の出力だけを見るというモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。 驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM# #Attention#

GoogleによるSKILL.stateとかいうテクでLLMの入力トークン量が94%減らせるとかいう研究。普通はLLMはチャット履歴とかを全部コンテキストとして持ち続けるけどSKILL.stateではコンテキスト履歴を捨てて現在の状態(state)だけを持つという。状態ってのはゲームで言うとセーブデータみたいなもん。ドラクエとかでゲームプレイ操作履歴を全部保存しなくても現在のHPやレベルとかの状態だけ保存すりゃ再開できる。じゃけんSKILL.stateでも全履歴を持たずに現在の状態だけ保持する。具体的にはLLMは応答するたびについでにJSON辞書の状態を追加、変更、削除して次の応答ができるような最新状態にアプデする。次の応答ではコンテキストの代わりにこの状態だけが入力されるという寸法らしい。へ～、コンテキストは削減できるだろうけどKVキャッシュは効かなくなるね

💡HBFを積んだGPU1枚が、HBM8枚ぶんのモデルを丸ごと抱えられる | 同じ金額と電力で並べ直すと帯域は6割弱だ $SNDK HBFを積んだGPUが1枚、同じく4枚、そしてHBMを積んだGPUが8枚。SanDiskが8月13日の投資家説明会で見せた比較図には、この3つが並んでいる。1枚対8枚は同じモデルを走らせるのに要る最小構成の差で、会社はこれを設備投資効率8倍と呼んだ。4枚が8枚に並ぶのはトークンの出力量のほうで、こちらはGPU効率2倍。どちらも社内試験の数字で、グラフにトークン毎秒の目盛りは入っていない。 Hot Chips 2026で、同じ技術に別の問いを立てた数字が出た。 出したのはOxmiq Labs。Intelのチーフアーキテクトを務めたRaja Koduriが作った会社で、売っているのはライセンス提供のチップアーキテクチャとソフトウェアであって、メモリではない。 問いはこうだ。同じ金額と同じ電力を使うなら、トークンはどちらが安く出せるか。 条件はGPU 72枚のラック1本、1兆パラメータのKimi-K2をFP4で走らせ、入力100万トークン・出力1,000トークンのデコード中心。HBMだけで組むと容量20.7TB、帯域の合計1,584TB/s。同じ金額と電力でHBFに置き換えると、容量は294.9TBへ約14倍に増え、帯域合計は922TB/sへ6割弱に下がる。混ぜると89.3TBで、帯域は条件次第で279〜1,418TB/sに散る。 容量が枚数を決めているうちは、HBFの側が勝つ。HBFなら1枚でKimi-K2を丸ごと抱えられるので、ラック1本に72インスタンスが入る。HBMだと1インスタンスに8枚要るから9インスタンスで止まり、束ねた8枚の演算は容量のために遊ぶ。ここまではSanDiskの図と同じ向きだ。 向きが変わるのは、同時に使う人と1秒あたりの生成量が増えたときだ。帯域が律速になった時点から、トークン1個あたりの原価はHBMの側が下になる、というのがOxmiqの試算である。安くなるのは1ギガバイトの値段であって、1トークンの値段ではない。 Oxmiqの結論は一行に収まっている。ラックにはHBM、箱にはHBF。 SanDiskは投資家説明会で3つの置き方を並べていた。HBMを補う、HBMの枠をそのまま置き換える、そして切り離してデコードの重みとKVキャッシュを持たせ、小さいHBMをキャッシュに使う。Oxmiqが残したのは3つ目に近い。HBFが引き取るのはホスト側のDRAMが持っていた分で、そこへ回すのはMoEのエキスパートとKVキャッシュだ。Oxmiqが例に挙げたKimi-K3は、重み1.56TBのうち1.45TB、93%がエキスパートの重みで、トークンごとに呼ばれるのはその一部にすぎない。 置き分けはソフトウェアの仕事になる。最大の帯域を出すには64KB単位で読み、1MB単位で書く。データはDMAで動かすので、CPUやGPUのキャッシュ階層を通らない。どの重みをHBMに残しどれをHBFへ回すかも、書き換え寿命の残りも、ホスト側が管理する。Chips and Cheeseはこれを、ホストのソフトウェアがSSDコントローラの仕事を引き受けることだと書いた。vLLMには専用の実装が要る。 その実装を出すのは、仕様を書いた2社ではない。HBMとHBFの間でデータを動かす仕組みはドライバとランタイムの層にあり、そこを持っているのはNVIDIAとAMDだ。Oxmiqの見立てでは利点が一部の用途に限られるので、メモリ階層をもう一段抱える手間を負ってまで全面的に支える理由は、両社の側に強くない。 SanDiskの直近四半期（7月3日締め）の売上は89億6,500万ドル、研究開発費は3億4,800万ドルだった。HBFが生んだ売上はまだ1ドルもない。8月13日に見せたのはダイのテープアウトで、推論製品のサンプルは2027年に置いてある。1年前の同社は、最初のHBFサンプルを2026年後半、HBFを使う推論機器を2027年前半と言っていた。 仕様を書いたもう一方はSK hynixで、こちらはHBMも売っている。ラックにHBMが残る限り、SK hynixはそこでも売る側に立つ。SanDiskはHBMを売っていない。 だから2027年のサンプルより手前に、見えるものがある。vLLMにHBF用の割り当てと配置が入るか。NVIDIAとAMDが、HBMとHBFの間のデータ移動をドライバで出すか。歩留まりも積層も耐久性の認定もSanDiskの側に残っているが、この2つが動かない限り、そこを越えても採用は広がらない。 🤘情報提供 Stock Slayer :

⚙️NVIDIAが量産に入れたAI推論ラックの仕様表に、HBMの行が無い | 答えを出す側だけが別の箱へ移った $NVDA $NBIS 仕様表にHBMの行が無い。NVIDIA $NVDA が8月24日にフル生産入りを発表したAI推論ラックの話だ。積むメモリは、チップに直接載せるSRAMがラックあたり128GB、大きなモデルとワークロードのためのDDR5が12TB。この2種類しかない。 Groq 3 LPXという。NVIDIAが昨年12月にGroqから非独占でライセンスした推論技術の、最初の製品だ（金額は報道ベースで200億ドルとされる）。CNBCによれば、このチップを作っているのはSamsungで、NVIDIAのGPUを作るTSMCではない。 HBMが不要になったのではない。HBMが要る仕事のほうを、隣の箱に置いてきた。 推論は途中で性質が変わる。入力を読み込むprefillの段は何千トークンもまとめて行列演算に流せるので、律速するのは計算力になる。答えを1トークンずつ出すdecodeの段は違う。次のトークンが前のトークンに依存するから並列化できず、1トークン出すたびに重みとKVキャッシュを読み直す。ここで時間を決めるのは演算器の数ではなく、読み出しの速さだ。 NVIDIAはこの2つを別々のラックに分けた。同社の技術ブログが標準構成として挙げるのは、Vera Rubin NVL72がprefillを担当し、1ターンに1回KVキャッシュをLPXへ渡す形だ。LPXはSRAMに置いた重みとそのKVキャッシュを使って、decodeの段を丸ごと実行する。 読み出しがdecodeの時間を決めるなら、読み出す場所をチップの中に入れてしまえばいい。それがGroqの元の主張だった。同社の解説はオンチップSRAMの帯域を毎秒80テラバイト超と書き、GPUが外に付けるHBMのおよそ毎秒8テラバイトと並べて、最大10倍の差だと説明している。 NVIDIA版のLPXは1チップに500MBのSRAMを載せ、256個を1ラックに詰めて128GB、帯域はラック全体で毎秒40ペタバイトになる。The Registerの試算では、Gemma 4 31BをFP8で載せるのに要るのは256個のうち64個ぶんだ。モデルはSRAMに収まっている。 decodeがメモリ帯域で詰まる、という話は前からあった。そこにNVIDIAが出した答えは、より速いHBMではない。decodeをHBMの外へ出すことだった。 売るのは計算力ではなく待ち時間になる。Artificial Analysisが計ったのはLPX側の生成速度で、Gemma 4 31Bを10万トークンの文脈で走らせて1ユーザーあたり毎秒3,400トークン。NVIDIAが「いちばん近い代替の4倍」と呼ぶ相手は、Cerebrasの毎秒882トークンだ。 > トークンを提供する側にとっては、待ち時間の要求がいちばん厳しい利用者と顧客に向けて、プレミアム階層のサービスを出せるようになる > （Dion Harris, NVIDIA HPC・AIファクトリーソリューション担当シニアディレクター） 3月のGTCでJensen Huangは、Vera Rubinの性能と価値を延ばすために、Groqラックがデータセンターの面積の最大25%を占めうると述べていた。配分計画ではなく上限の話だが、GPUではない計算機に4分の1まで空ける構図をNVIDIA自身が描いている。 最初に買うのはNebius $NBIS だ。3月にNVIDIAが20億ドルを出資し、Rubin・Vera CPU・BlueFieldへの早期アクセスを含む提携を結んだ相手で、自社の推論基盤Token Factoryに載せる。低遅延の区画にはAMDとCerebrasも入ってきていて、NVIDIAの置き方の違いは、Vera Rubinを置き換えずその隣に並べる点にある。 見どころは水曜の決算そのものより、Nebiusの初号機が年内に実際に立ち上がるかだ。立たなければ、25%という上限は図面のままで終わる。 トークンの速さは長いあいだGPUの枚数の関数として語られてきた。今日量産に入った箱は、その関数の後半だけを切り離して書き直す。隣に残るVera Rubinの側では、HBMは前段の仕事を続ける。 🤘情報提供 Stock Slayer :

🎬 蒸留された自己回帰の動画モデルは速い一方で、人間の好みからズレがちです。再蒸留も逆プロセスの展開も使わず、「順プロセス」で強化学習アラインメントを行うAstrolabeが、その難題に答えます。 タイトル: Astrolabe: Steering Forward-Process Reinforcement Learning URL: 📝 概要 Astrolabeは、蒸留された自己回帰（AR）動画モデルを人間の視覚的な好みに整合させる強化学習フレームワークです。最大の特徴は、従来の逆プロセス最適化ではなく、順プロセス（forward-process）でRLを行う点にあります。全53ページ・37図の大規模な研究です。 ❓ 解決する課題 蒸留AR動画モデルは効率的なストリーミング生成に向く一方、人間の好みと乖離しやすいという弱点があります。さらに既存のRLは、こうしたアーキテクチャに自然には合いません。一般に、高コストな再蒸留か、ソルバー結合の逆プロセス最適化のいずれかを必要とし、どちらも重くスケールしにくいものでした。 💡 方法論と提案手法 3つの工夫から成ります。 ・負例認識の微調整：推論の終端で正例と負例を対比させ、逆プロセスを展開せずに、暗黙的なポリシー改善の方向を確立します ・ストリーミング学習：ローリングKVキャッシュでシーケンスを段階的に生成し、RL更新は局所的なクリップウィンドウにのみ適用、長距離の一貫性は先行コンテキストへの条件付けで維持します ・複数報酬の目的関数：不確実性を考慮した選択的正則化と動的な参照更新を統合し、報酬ハッキング（見かけのスコアだけ上げる崩壊）を緩和します 🎯 ユースケース リアルタイム・ストリーミングな動画生成で、効率的な蒸留モデルを速さを保ったまま好みへ整合させたい場面に向きます。複数の蒸留AR動画モデルに適用でき、推論の軽さを犠牲にせずに品質を底上げできます。 📊 意義と結果 ・再蒸留や逆プロセス展開という重い経路を避けることで、計算効率のボトルネックに対処します ・順プロセスでの負例認識・ストリーミング更新・報酬ハッキング対策を組み合わせ、堅牢でスケーラブルなアラインメント解を提供します ・複数の蒸留ARモデルにわたって有効性が示され、詳細な定量評価とアブレーションを含みます #VideoGeneration# #ReinforcementLearning#