登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 KVキャッシュ
KVキャッシュ コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
KVキャッシュ を含む検索結果
長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ(LMCacheなど)は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#
もっと見る
🚀 100万トークンのコンテキストを扱いながら、KVキャッシュを従来の4分の1まで絞り込んだモデルが登場しました。DeepSeekの新作です。 タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression URL: 💡 概要 552Bパラメータのマルチモーダルなミクスチャー・オブ・エキスパート(MoE)モデルで、長時間稼働するエージェント向けの「入力ヘビー」なワークロードを見据え、アーキテクチャと精度の両面からKVキャッシュを徹底的に圧縮しています。 🎯 解決する課題 長いコンテキストを扱うエージェントでは、プレフィル計算だけでなく、永続的なKVキャッシュがGPUメモリ・SSD・I/O帯域幅を圧迫し、デプロイコストの主なボトルネックになっていました。 🛠 方法論と提案手法 前半20層をエンコーダ、後半20層をデコーダとするCausal Encoder-Decoder構造でプレフィル計算量を半減。3モードで層間KVを再利用するCompressed Sparse Attention 2、候補プールに絞った階層型疎インデクサ、FP4量子化などを組み合わせています。 📊 実験結果 グローバルKVフットプリントは1トークンあたり890バイトでV4-Flashの約4分の1、永続KVは約8分の1に削減。コンテキストを4Kから100万へ256倍拡張してもデコードFLOPsは1/4しか増えません。HumanEval 79.4%など主要ベンチマークでも性能向上を確認しています。 #LLM# #KVキャッシュ#
もっと見る
💾 TL;DR: 別ノードのGPUが計算したKVキャッシュを、CXLメモリ経由でそのまま使い回して最大36.6倍高速化。SeagateがKubernetesネイティブな共有CXLメモリの仕組みを提案しました。 タイトル: Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving URL: 📌 ポイント 🧩 Kubernetes DRAドライバでCXLリージョンをスケジュール可能なリソース化 🗂 Redis等の外部調整なし、リージョン内蔵のスロットディレクトリでKV管理 🚀 32Kトークンのプレフィックスでクロスノード再利用が再計算比36.6倍高速 🎯 ヒット率は95.4〜99.5%を達成 ⚖️ クロスノードと同一ノードの遅延差はわずか1〜4% 🐢 同一ノードのGPU VRAMキャッシュと比べると1.15〜1.70倍のペナルティあり 🔧 実測帯域は5.8GB/sでファブリック上限27GB/sの一部、ゼロコピーDMAに伸びしろ 複数GPUノードでプレフィックスを使い回したいときの、地味だけど効く実用的な選択肢だと思います。 #LLM推論# #Kubernetes#
もっと見る
エージェントの履歴が長くなったら、文章を要約する代わりに「次の推論が参照するキャッシュ」を直接整理するCache Engineeringという研究( KVキャッシュは、過去の文章を読み直す計算を省くために保持する内部状態。履歴の前半を削ったり要約したりすると、残した文章まで計算し直す費用がかかることがある。 提案では、元の文章の履歴は変えず、古いツール結果に対応するKVだけを次のAttentionから外す。さらに位置情報を調整し、位置の上限にも対処する。残したKVを作り直さず使えるのが狙いだ。 主な評価方針は、推論の記録と直近12回のツール応答を残すもの。3モデル・4ベンチマークの平均で、標準の閾値による要約方式に比べ、成功率は1.7ポイント高く、トークン数と料金表から計算した費用は27.7%低かった。 実装上の難所もある。同じ文章が残っていても、どの時点で何を外したかによってKVの中身は違う。そのためAKVという配信基盤では、文章の一致だけで再利用せず、キャッシュ操作の履歴も管理する。 古い情報を外しても、それを参照して作られた後続の内部状態には影響が残りうる。文章を消した状態と同じになるわけではないし、通常のAPIへ短いプロンプトを送るだけで実現する方法でもない。 履歴の圧縮を「何を要約するか」だけでなく、「計算済みのどの状態を残すか」まで広げる。エージェントの設計と配信基盤を一緒に考える必要があるのが面白い。
もっと見る
🌐 大規模ネットワークシステムの最前線NSDI 2026に、Microsoftが11本を発表しました。KVキャッシュ再利用で4倍スループット、CXLメモリでRDMA比3.2倍など、AI基盤の具体的な前進が並ぶダイジェストです。 タイトル: Microsoft at NSDI 2026: Advances in large-scale networked systems URL: 📝 概要 NSDIは、クラウド・AI・分散アプリ基盤の設計と運用に関する新しい研究を共有する主要な国際会議です。本記事は、Microsoftが発表したデータセンターネットワーク、広域ネットワーク、AIシステム、クラウドインフラにまたがる11本の採択論文を紹介しています。 ❓ 解決する課題 AIワークロードの急増に伴い、データセンターのネットワーク・メモリ・CPU資源を、信頼性とコスト効率を保ちながらスケールさせることが一層難しくなっています。本記事の研究群は、本番運用と研究の両面からその最前線に取り組んでいます。 💡 主要な研究貢献 ・DroidSpeak:同一アーキの言語モデル変種間でKVキャッシュを再利用し、出力品質への影響を最小限に抑えつつ最大4倍のスループットを実現します ・SONiC DASH SmartSwitch:クラウドのネットワークオフロードを再設計し、Azureで大規模に展開済み。電力と設置スペースの効率を大幅に改善します(コミュニティアワード受賞) ・Octopus:CXLの分離メモリポッドで、3サーバ試作機においてラック内RDMA比3.2倍、CXLスイッチ比2.4倍のRPCを達成します ・HarvestContainers:レイテンシ重視のコンテナから動的にコアを収穫し、テールレイテンシをスタンドアロン比4%以内に保ちながら空きCPUを最大75%活用します 🎯 ユースケース LLMサービングの高速化、メモリ分離(disaggregation)、コンテナのリソース有効活用、ネットワークプロトコルの検証など、クラウド・AI基盤の設計判断に役立ちます。 📊 そのほかの成果 ・Eywa:LLMベースのモデル生成により、ネットワークプロトコル実装で33件のバグ(うち16件は未知)を発見しました ・ForestColl:多項式時間でスケジュールを生成し、理論的に最適な集団通信を達成します ・AVA:10時間超の動画で75.8%の精度を出す動画解析ベンチマークです ・KRAKENGUARD:eBPFを用いた、マルチテナントセキュリティのための細粒度の分離です #NetworkedSystems# #AIInfrastructure#
もっと見る
モデルを切り替えるたびに会話の文脈を再計算し直すの、実はもったいないかもしれません。 タイトル: Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse URL: ❓ そもそも何をする研究? 💡 NVIDIAの研究チームが、あるサイズのLLMが計算したKVキャッシュを、別サイズの同系統モデルにそのまま「翻訳」して使い回す手法を提案しました。学習不要、閉形式のリッジ回帰だけで変換できます。 ❓ なぜモデルサイズをまたいで使い回したいの? 💡 実運用ではコストと品質のバランスを取るために、小さいモデルから大きいモデルへエスカレーションしたり、会話途中でモデルを切り替えたりします。そのたびにゼロから文脈を再計算(re-prefill)するのは無駄が多いためです。 ❓ 精度は落ちないの? 💡 良い組み合わせでは元モデル単体の73〜98%の精度を維持します。相性の悪いペアでは大きく劣化しますが、小さなMLPを追加するだけでHellaSwagが最大36.8ポイント回復しました。 ❓ どれくらい速くなるの? 💡 再prefillと比べて2.7〜25倍高速。32Kトークンの長い文脈では最大25倍の差がつき、10ターン程度の会話でも精度の劣化はごくわずかでした。 #LLM# #KVキャッシュ#
もっと見る
エージェントのツール待ちでGPUが遊ぶなら、復帰タイミングまで見てスケジューリングすればよいはずです。 TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving 🔎 概要 LLM推論とツール実行を繰り返すエージェント向けに、ツールの復帰時刻とKVキャッシュ再利用を合わせて評価し、受け入れるセッションを組合せ最適化で決めるスケジューラです。 ⚠️ 解決する課題 ・既存のスケジューラはツール復帰のタイミングを直接使わない ・セッション単位の貪欲な判断で、容量を奪い合う別の組合せを塞いでしまう 🛠 方法論 ・セッションごとに「減衰するキャッシュ価値(半減期10秒)」「ツール復帰の準備完了」「トークン数」の3つを順に比較 ・容量状態の動的計画法で、待機セッションの選択とノード割当を同時に決定 ・DPは非同期ワーカーで走り、適用前に実際の状態と照合。オーバーヘッドは実行時間の0.12%未満 📊 実験結果 ・DeepSeek-V4 Flash、SWE-Lite、64ワーカーで、最良ベースライン比で遅延最大26.8%減、TTFT最大36.3%減、デコード最大29.5%増 ・DPをBFDに替えると、デコードは1417.97から1233.72 tok/sへ低下 ・一方、AutomationBenchの128ワーカーではTTFTが悪化するなど、全条件で勝つわけではありません #LLMServing# #AIAgents#
もっと見る
画像をいつ見るかを決めるだけで、拡散VLMのデコードFLOPsを約3分の1にできるそうです 👀 Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs 📌 概要 拡散型VLM(LLaDA-Vなど)向けの、学習不要・しきい値不要のデコード手法LOWNです。毎ステップ画像を処理するのをやめ、「このステップに画像は必要か」を安価に判定します。 🚧 解決する課題 ・拡散VLMは双方向アテンションのためKVキャッシュが使えず、毎ステップ画像を再計算します ・入力の89〜97%が視覚トークンで、計算の大半は変わらない画像の再処理です ・画像を除いても確定トークンが変わるステップは平均22.8%にとどまります 🔧 方法論 ・FULL(画像あり)フォワードの予測をアンカーとして保存します ・毎ステップ、画像トークンを除いたTEXT-ONLYフォワードを実行します ・予測がアンカーと一致する最長プレフィックスは「証明済み」として、FULLなしで確定します ・足りなければFULLを実行し、不一致位置を優先して確定します 📊 実験結果 ・LLaDA-Vでスコアをベースラインの99.6%に保ち、デコードFLOPsは0.353倍です ・RedVTP併用では0.223倍のFLOPsで、10ベンチすべてで最高スコアです ・単独で生成時間を平均57.4%削減しました ・Fast-dLLM併用でも生成時間を38〜50%削減しましたが、Fast-dLLM単独よりスコアは下がります ⚠️ 注意点 図表・文書読解のように視覚依存が続くタスクでは節約が小さくなります。 #DiffusionLM# #VLM#
もっと見る
TL;DR: 言語モデルに自分のコンテキストを「編集可能なファイル」として自由に管理させる新しいパラダイム「Context Language Models」が、多くのベンチマークで精度向上とFLOPs削減を同時に達成しました。 タイトル: Context Language Models URL: ポイント 📝 コンテキストをファイルとしてミラーリングし、モデル自身がBashコマンドで自由に編集・追記できる設計。要約や検索の閾値を人間が決める従来のハーネスから脱却 🧠 明示的な指示なしに「インコンテキスト・スコアボード」や再利用可能な関数定義など創発的な戦略を獲得 🔍 BrowseComp-Plusで精度59.4%・FLOPs21.5%削減、EdgeBench-10では要約ベース比スコアを上回りつつFLOPsを半分以下に 🎯 強化学習ではQwen3.5-9Bの精度を28.8%→42.5%に向上させつつFLOPsも削減(成功した軌跡の中でのみ効率に報酬を与える設計でハッキングを防止) ⚡ 新技術Suffix Cache Reuseが、コンテキスト編集後も残存部分のKVキャッシュを再利用し、サーバー側計算量を標準比35%削減 🧩 ContextBenchの診断タスクでは、要約ベースが失敗する高コンテキスト圧力下でもCLMは完全な精度を維持 コンテキスト管理そのものをモデルの能力として扱うという発想転換に、大きな可能性を感じます。 #コンテキスト管理# #LLM効率化#
もっと見る
💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。 長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る、特定の箇所だけを見る、直近の出力だけを見るというモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。 驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM# #Attention#
もっと見る