長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#

TL;DR 空間推論を文章生成ではなく「候補を選ぶ分類問題」として扱うことで、VLMを最大5.6倍高速化しつつ精度も向上させた研究です。 タイトル: MJev-Spatial: System One Spatial Intelligence via Native Attention Matching URL: ポイントはこちらです。 ・🎯 選択・数値・座標指定をすべて「有限候補の分類」として統一的に扱う設計 ・🧠 新しい予測ヘッドを追加せず、モデルが元から持つクエリ・キー注意機構を再利用してスコアリング ・📐 座標指定は3×3グリッドを3段階クロップし直して絞り込む階層的な精密化 ・🚀 B200 GPUでの平均レイテンシ160.6ms、自動回帰ベースライン比2.5倍、ベースモデル比5.6倍高速化 ・📊 12ベンチマーク平均65.64%でQwen3-VL-8Bなど既存手法を上回り、7ベンチマークで1位 ・🔢 距離推定は細かく区間を切るより粗めの方が精度が良いという意外な結果も ・🌲 確率木を使えば追加学習なしで複数点予測にも拡張可能 テキスト生成を経由しない「直感的な分類」という発想の転換が、速度と精度を両立させているのが面白いです。 #VLM# #空間推論#

TL;DR 空間推論を文章生成ではなく「候補を選ぶ分類問題」として扱うことで、VLMを最大5.6倍高速化しつつ精度も向上させた研究です。 タイトル: MJev-Spatial: System One Spatial Intelligence via Native Attention Matching URL: ポイントはこちらです。 ・🎯 選択・数値・座標指定をすべて「有限候補の分類」として統一的に扱う設計 ・🧠 新しい予測ヘッドを追加せず、モデルが元から持つクエリ・キー注意機構を再利用してスコアリング ・📐 座標指定は3×3グリッドを3段階クロップし直して絞り込む階層的な精密化 ・🚀 B200 GPUでの平均レイテンシ160.6ms、自動回帰ベースライン比2.5倍、ベースモデル比5.6倍高速化 ・📊 12ベンチマーク平均65.64%でQwen3-VL-8Bなど既存手法を上回り、7ベンチマークで1位 ・🔢 距離推定は細かく区間を切るより粗めの方が精度が良いという意外な結果も ・🌲 確率木を使えば追加学習なしで複数点予測にも拡張可能 テキスト生成を経由しない「直感的な分類」という発想の転換が、速度と精度を両立させているのが面白いです。 #VLM# #空間推論#

💾 TL;DR: 別ノードのGPUが計算したKVキャッシュを、CXLメモリ経由でそのまま使い回して最大36.6倍高速化。SeagateがKubernetesネイティブな共有CXLメモリの仕組みを提案しました。 タイトル: Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving URL: 📌 ポイント 🧩 Kubernetes DRAドライバでCXLリージョンをスケジュール可能なリソース化 🗂 Redis等の外部調整なし、リージョン内蔵のスロットディレクトリでKV管理 🚀 32Kトークンのプレフィックスでクロスノード再利用が再計算比36.6倍高速 🎯 ヒット率は95.4〜99.5%を達成 ⚖️ クロスノードと同一ノードの遅延差はわずか1〜4% 🐢 同一ノードのGPU VRAMキャッシュと比べると1.15〜1.70倍のペナルティあり 🔧 実測帯域は5.8GB/sでファブリック上限27GB/sの一部、ゼロコピーDMAに伸びしろ 複数GPUノードでプレフィックスを使い回したいときの、地味だけど効く実用的な選択肢だと思います。 #LLM推論# #Kubernetes#

LLMの推論は1トークンずつ。この前提を「フロー」で崩す、8Bのフロー言語モデルが登場しました。 タイトル: Large Flow Language Models URL: 🌊 事前学習済みの自己回帰モデルを、ブロック単位のフロー言語モデル Lafa に適応させる研究です。学習トークンは300億未満で、7Bで同等品質のままAR比2.54倍のスループットを達成しました。 ⚡ 注目ポイント1：非同期フロー ブロック内の各トークンに固有の時刻を持たせ、デノイズの進みをデノイズ損失から学習します。前の位置ほど速く確定する左から右への傾向が、課していないのに自然に現れました。 🧠 注目ポイント2：自己投機的デコード 1ステップのフローで下書きを作り、同じモデルに残したARヘッドが検証します。出力は貪欲ARデコードと一致し、1回の順伝播あたり約2.5〜5トークンを出せます。 🪶 注目ポイント3：少ない学習で品質も上がる Qwen2.5とQwen3を土台に、Dream・LLaDA・Efficient-DLMより18倍以上少ない学習トークンで学習。7Bの平均精度はAR SFTの58.4に対して60.9でした。 連続フローが、並列生成の実用的な土台になりうることを示した一本です。 #言語モデル# #高速推論#

【発表】PFNはトヨタ自動車の未来創生センターとAI半導体MN-Core Lシリーズを活用したフィジカルAIの高速化に関する共同研究を開始しました。超高帯域幅メモリのMN-Core Lシリーズを、オンプレミス環境の高速推論が求められるロボットで検証します。

🎨 テキストから高精細な画像を生成するモデルを、完全にオープンなレシピだけでゼロから鍛え上げ、トップクラスのモデルに迫る性能を実現しました。 タイトル: LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes URL: 🖼️ 概要 LLaDA-Imageは、6BパラメータのDiffusion Transformerをゼロから訓練し、dLLMベースの視覚言語理解モジュールと組み合わせた統一的な画像生成・編集モデルです。TwinFlow蒸留により2〜4ステップという少なさで高速推論できるTurbo版もあわせて公開されています。 🧩 解決する課題 高品質な画像生成にはこれまで大量のペア画像テキストデータが必要とされ、キャプション品質のばらつきや、生成と編集を1つのモデルで両立させる難しさが課題でした。 🛠️ 方法論と提案手法 画像のみの事前学習を中心に据え、220Mサンプルのうち90%以上を画像単独データで訓練し、実画像の比率を生成訓練で98%、教師あり微調整でも70%以上に保つ「実データ優位」なレシピを採用しています。長時間の訓練を安定させるパラメータフリーRMSNormや、参照画像をセマンティック・ピクセル両経路で条件付けする編集用アーキテクチャも特徴です。 📊 ユースケース / 実験結果 Qwen-Image-Benchでは英語53.53点・中国語53.38点でオープンソース最高水準のZ-Image Turboを上回り、長文テキストレンダリングを測るCVTG-2Kでも単語精度0.875でトップの成績を収めています。一方でGenEvalの物体計数は0.53にとどまるなど、今後の改善点も明確に示されています。 #画像生成# #DiffusionModel#

「1文字ずつ」しか喋れないAIは、もう古いのかもしれません🌀 画像生成で大成功した拡散モデルを、ついに言語生成へ持ち込んだ研究が登場しました。 タイトル: dLLM: Simple Diffusion Language Modeling URL: 🌀 概要 本研究は、画像生成でおなじみの「拡散モデル」の考え方を、言語モデリングに応用したフレームワーク「dLLM」を提案しています。テキストを左から右へ順番に作るのではなく、ノイズ（マスク）まみれの状態から、複数ステップをかけて文章全体を少しずつ整えていく「反復的な精緻化」によって生成します。名前のとおり、複雑な仕掛けを足さずに、できる限りシンプルに実現することを重視しているのが特徴です。 ❓ 解決する課題 現在のLLMの主流は、トークンを1つずつ予測していく「自己回帰（Autoregressive）」方式です。しかしこの方式には弱点があります。 ・逐次生成のため本質的に並列化しにくく、長文ほど生成が遅くなりがちです ・一度書いたトークンを後から推敲・修正する仕組みがなく、全体を見渡して整えるのが苦手です 拡散ベースの生成は、これらの制約を別の角度から解きほぐす可能性を持っています。 💡 方法論と提案手法 dLLMは、言語生成を「離散拡散（Discrete Diffusion）プロセス」として定式化し直します。 ・マスクされた、あるいはノイズの乗ったトークンからスタートします ・複数ステップにわたって段階的にアンマスク（デノイズ）し、クリーンな系列へ復元します ・破損した入力から正しいトークンを予測するよう、ニューラルネットワークを訓練します ・複数トークンを同時に生成できる「並列デコーディング」に対応します 新規の特殊なネットワークを設計するのではなく、既存のTransformerにそのまま載せられる点が実装上の大きな利点です。 🌍 ユースケース / 実験結果 複数のモデル規模・系統で有効性が確認されました。 ・エンコーダ系：ModernBERTを拡散方式で訓練し、分類ベンチマークで競争力ある結果を達成 ・デコーダ系：QwenやLlamaをベースにした拡散モデルでも、言語理解タスクで実用的な性能を確認 ・並列デコーディングにより、標準的な自己回帰方式より高速な推論を実現 ・0.6Bから、より大きなパラメータ領域まで一貫して有効性を確認 高速応答が求められるチャットや、推論コストを抑えたい大規模サービスでの活用が期待されます。 #拡散モデル# #LLM#

🔍 「実行を完了したと言いながら実は終わっていないエージェント」を自然言語で検索できたら便利ですよね。それを実現する機能がLangSmithに追加されました。 タイトル: Search agent traces by behavior with AI Search in LangSmith URL: 💡 概要 エージェントのトレースは大規模でマルチモーダルな非構造化データで、従来のプラットフォームでは「個人情報が漏洩した会話はあったか」のような意味理解を要する質問に答えるのが困難でした。AI Searchはこれを自然言語クエリで解決します。 🧩 解決する課題 埋め込みベクトルによる類似度検索では、情報が圧縮されてしまい「実際に作業を完了したエージェント」と「完了したと述べただけのエージェント」のような微妙な違いを区別できませんでした。 🛠 方法論と提案手法 実際のテキストを読んで推論する「高速決定モデル」を採用。さらに異種ソースのトレースを「トラジェクトリー」という蒸留ビューに正規化し、固定のトークン予算内でユーザー発言とエージェント応答を最優先に配置する設計で、情報密度の高い検索を実現しています。 📊 ユースケース / 実験結果 Open SWEの150会話を分析したところ、会話あたり中央値約72,000トークン、最大100万トークン超という規模でしたが、ユーザー・エージェントのやり取り自体は全体の約2.8%に過ぎませんでした。この知見を活かし、PII漏洩検出やユーザー不満の特定、解約意図の検出などに活用できます。 #LangChain# #AIエージェント#

🔍 「実行を完了したと言いながら実は終わっていないエージェント」を自然言語で検索できたら便利ですよね。それを実現する機能がLangSmithに追加されました。 タイトル: Search agent traces by behavior with AI Search in LangSmith URL: 💡 概要 エージェントのトレースは大規模でマルチモーダルな非構造化データで、従来のプラットフォームでは「個人情報が漏洩した会話はあったか」のような意味理解を要する質問に答えるのが困難でした。AI Searchはこれを自然言語クエリで解決します。 🧩 解決する課題 埋め込みベクトルによる類似度検索では、情報が圧縮されてしまい「実際に作業を完了したエージェント」と「完了したと述べただけのエージェント」のような微妙な違いを区別できませんでした。 🛠 方法論と提案手法 実際のテキストを読んで推論する「高速決定モデル」を採用。さらに異種ソースのトレースを「トラジェクトリー」という蒸留ビューに正規化し、固定のトークン予算内でユーザー発言とエージェント応答を最優先に配置する設計で、情報密度の高い検索を実現しています。 📊 ユースケース / 実験結果 Open SWEの150会話を分析したところ、会話あたり中央値約72,000トークン、最大100万トークン超という規模でしたが、ユーザー・エージェントのやり取り自体は全体の約2.8%に過ぎませんでした。この知見を活かし、PII漏洩検出やユーザー不満の特定、解約意図の検出などに活用できます。 #LangChain# #AIエージェント#