TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。 タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失います ただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#

⚙️ 月125兆トークンを捌くLLM推論基盤は、どう信頼性とコストを両立しているのか。リクエスト数ではなく「モデルユニット」でコストを測り、GPUコストを80%削減しつつ安定運用を実現したDatabricksの実戦知です。 タイトル: Reliable LLM Inference at Scale URL: 📝 概要 本記事は、大規模なLLM推論を信頼性高く・コスト効率よく運用するための、Databricksのアーキテクチャと手法を解説します。GPUインフラの不安定さや、予測困難なリクエストコストといった本番特有の課題に、具体的な仕組みで対処しています。 ❓ 解決する課題 ・GPUインフラはCPUより本質的に不安定で、prefill/decodeを分離した構成では単一障害が複数ノードに波及します ・リクエストコストは事前推定が難しく、出力トークン生成がレイテンシを支配する一方、その時間は予測困難です ・高負荷時には、リクエストの組み合わせ次第で健全なサーバが突然不健全状態に陥ります 💡 方法論と提案手法 ・コストを「α×入力トークン＋β×出力トークン＋γ×マルチモーダル」とモデル化する「モデルユニット」抽象を導入し、係数はモデル/ハードウェアごとの自動ベンチマークで決定します ・自動シャーダーDicerが、キュー長でなくモデルユニットで測ったサーバ負荷でルーティングし、ステートフルセッションでキャッシュヒット率を高めます ・保留リクエスト数でなく「モデルユニット利用率」でオートスケールし、ピーク閾値に近づくと増設します ・ブラックボックスのヘルスチェックでサイレントハングを検知し、ヘルスチェックを最高優先度にして誤検知を防ぎます 🎯 ユースケース Superhumanやコーディングエージェント、サポートボットなど、トラフィックが数時間で急増するマルチテナントのエージェント型アプリを支えます。LLMアプリが単一テナントから共有本番環境へ移る局面に直結します。 📊 実験結果 ・コスト認識オートスケーリングで、静的なピーク見込みプロビジョニング比のGPUコストを80%超削減しました ・ヘルスチェックの誤検知を週数件からゼロへ、サイレント障害の検知・回復は5分未満に収めました ・画像処理をTorchvisionへ切り替え、OMP_NUM_THREADSをコンテナ上限に正しく設定し、同じレプリカ・負荷でスループットを3倍超に跳ね上げました ・月125兆トークンをマルチテナントで処理しています #LLM# #MLOps#

⚙️NVIDIAが量産に入れたAI推論ラックの仕様表に、HBMの行が無い | 答えを出す側だけが別の箱へ移った $NVDA $NBIS 仕様表にHBMの行が無い。NVIDIA $NVDA が8月24日にフル生産入りを発表したAI推論ラックの話だ。積むメモリは、チップに直接載せるSRAMがラックあたり128GB、大きなモデルとワークロードのためのDDR5が12TB。この2種類しかない。 Groq 3 LPXという。NVIDIAが昨年12月にGroqから非独占でライセンスした推論技術の、最初の製品だ（金額は報道ベースで200億ドルとされる）。CNBCによれば、このチップを作っているのはSamsungで、NVIDIAのGPUを作るTSMCではない。 HBMが不要になったのではない。HBMが要る仕事のほうを、隣の箱に置いてきた。 推論は途中で性質が変わる。入力を読み込むprefillの段は何千トークンもまとめて行列演算に流せるので、律速するのは計算力になる。答えを1トークンずつ出すdecodeの段は違う。次のトークンが前のトークンに依存するから並列化できず、1トークン出すたびに重みとKVキャッシュを読み直す。ここで時間を決めるのは演算器の数ではなく、読み出しの速さだ。 NVIDIAはこの2つを別々のラックに分けた。同社の技術ブログが標準構成として挙げるのは、Vera Rubin NVL72がprefillを担当し、1ターンに1回KVキャッシュをLPXへ渡す形だ。LPXはSRAMに置いた重みとそのKVキャッシュを使って、decodeの段を丸ごと実行する。 読み出しがdecodeの時間を決めるなら、読み出す場所をチップの中に入れてしまえばいい。それがGroqの元の主張だった。同社の解説はオンチップSRAMの帯域を毎秒80テラバイト超と書き、GPUが外に付けるHBMのおよそ毎秒8テラバイトと並べて、最大10倍の差だと説明している。 NVIDIA版のLPXは1チップに500MBのSRAMを載せ、256個を1ラックに詰めて128GB、帯域はラック全体で毎秒40ペタバイトになる。The Registerの試算では、Gemma 4 31BをFP8で載せるのに要るのは256個のうち64個ぶんだ。モデルはSRAMに収まっている。 decodeがメモリ帯域で詰まる、という話は前からあった。そこにNVIDIAが出した答えは、より速いHBMではない。decodeをHBMの外へ出すことだった。 売るのは計算力ではなく待ち時間になる。Artificial Analysisが計ったのはLPX側の生成速度で、Gemma 4 31Bを10万トークンの文脈で走らせて1ユーザーあたり毎秒3,400トークン。NVIDIAが「いちばん近い代替の4倍」と呼ぶ相手は、Cerebrasの毎秒882トークンだ。 > トークンを提供する側にとっては、待ち時間の要求がいちばん厳しい利用者と顧客に向けて、プレミアム階層のサービスを出せるようになる > （Dion Harris, NVIDIA HPC・AIファクトリーソリューション担当シニアディレクター） 3月のGTCでJensen Huangは、Vera Rubinの性能と価値を延ばすために、Groqラックがデータセンターの面積の最大25%を占めうると述べていた。配分計画ではなく上限の話だが、GPUではない計算機に4分の1まで空ける構図をNVIDIA自身が描いている。 最初に買うのはNebius $NBIS だ。3月にNVIDIAが20億ドルを出資し、Rubin・Vera CPU・BlueFieldへの早期アクセスを含む提携を結んだ相手で、自社の推論基盤Token Factoryに載せる。低遅延の区画にはAMDとCerebrasも入ってきていて、NVIDIAの置き方の違いは、Vera Rubinを置き換えずその隣に並べる点にある。 見どころは水曜の決算そのものより、Nebiusの初号機が年内に実際に立ち上がるかだ。立たなければ、25%という上限は図面のままで終わる。 トークンの速さは長いあいだGPUの枚数の関数として語られてきた。今日量産に入った箱は、その関数の後半だけを切り離して書き直す。隣に残るVera Rubinの側では、HBMは前段の仕事を続ける。 🤘情報提供 Stock Slayer :

今日の投稿は、主にDeepSesk API移行期限/Difyエージェントの脆弱性/Kimi K3と推論基盤/GitLab更新情報でした。 一次情報を読む→検証する→共有する。これができる人は現場に意外と少ない。 できていると普通に評価されます。 弊社では関東・関西でクラウドインフラエンジニアを募集しています。

【サービス不具合のお知らせ｜Tsubaki.2 画像生成について】 推論サービス基盤のアップグレードに伴う不具合により、本日 6/30 23:50 〜 7/1 00:30（日本時間 / UTC+9） の間、Tsubaki.2 の一部の画像生成タスクで、生成結果が予期せず「ノイズ画像」になる現象が断続的に発生する可能性がございます（画像参照）。 つきましては、上記の時間帯における Tsubaki.2 のすべての画像生成タスク（PixAI 本サイトおよび Mio.2 を含む）を対象に、ノイズ画像の発生有無にかかわらず Credits を返金いたします。 返金分の Credits は、対象となる PixAI アカウントへ 7/1 23:59（日本時間 / UTC+9）までに 付与いたします。 この度はご不便をおかけし、誠に申し訳ございません。

Physical AIでざっくり要るのは ・合成データを作るシミュレーション ・知覚と動作をつなぐ基盤モデル(VLA) ・機体で動く省電力の推論チップ ・現実とのギャップを埋める検証 言葉を返すのと物を動かすのは、難しさの種類が違う。

TL;DR 視覚生成そのものを推論の媒体として扱う「ネイティブ視覚推論」を、大規模データと検証可能な報酬で訓練・評価できるスイートが登場しました。VLM審判の評価は同一動画で最大92.8%もスコアが揺れることが示されています。 タイトル: VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning URL: ポイント 📊 300タスク・125万訓練インスタンス・約347万画像/130万動画の大規模データセット 🎯 HSV色分割やOCRなど古典的CVで属性抽出する決定論的スコアラー、人間一致度0.60以上でGPT-5.5やGemini-3.1-Proを上回る 🌀 予測ノイズと新規ノイズの係数和を保存するCoefficients-Preserving Sampling（CPS）でRL探索を安定化 🚀 外部ベンチマークV-ReasonBenchで10.21→38.22（+28.01pt）と大幅な転移性能を確認 🔬 反事実診断で入力画像削除時に-90%とスコアが激減、視覚軌跡が言語より推論の本質と判明 ✅ 検証可能な報酬によるRLがVLM報酬RLよりインドメインで+7.9%改善 視覚推論の「言語頼み」を脱却し、視覚そのものを訓練・検証可能にする基盤という点が印象的です。 #視覚推論# #マルチモーダルAI#

テーブルデータの機械学習にも、画像やテキストのような「そのまま使える基盤モデル」の時代が来ました。NVIDIAが新しいライブラリを公開しています。 タイトル: Structured Data Models (NVIDIA/structured-data-models) URL: 📝 概要 テーブル・リレーショナルデータ向けの基盤モデル・テンソル型・データプロセッサをまとめた、GPUネイティブなPyTorch互換ライブラリです。 ❓ 解決する課題 構造化データの機械学習は、画像やテキストに比べてGPU活用の基盤整備が遅れており、タスクごとに専用モデルを学習し直す必要がありました。 💡 方法論と提案手法 TabICLv2、KumoTabular、TabFMといったテーブル系モデルと、グラフ構造向けのKumoRelationalを提供。中核となる `TableTensor` は生データをGPU上で損失なくテンソル化する抽象化で、文脈内学習とキャッシュを使ったフィット＆予測の2つの推論パターンに対応します。 🌍 ユースケース 数値・カテゴリ・日時・テキスト・リレーショナルなど多様なデータ型を、少量のコードで事前学習済みモデルに通せます。Python 3.11以上・PyTorch 2.7以上で、pipから直接インストール可能です。 📊 実験結果 テーブル予測において新たな精度と効率のフロンティアを実現し、多様な構造化データセットでのゼロショット性能を主張しています。 #機械学習# #GPU#

AIエージェントの回答を「検証可能で説明できる事実」に根拠づける——ナレッジグラフ＋GraphRAG＋エージェントのフルスタックをまるごとオープンソースで提供する基盤です🕸️ タイトル: trustgraph-ai/trustgraph URL: 🕸️ 概要 AIエージェントのためのオープンソースのセマンティック・デプロイメント基盤です。コアは「コンテキストグラフ」（ドメイン知識を構造化しクエリ可能にした表現）。コンテキストグラフ・メモリ・検索・オーケストレーション・推論を、決定論的なエージェント向けにフルスタックで提供します。 ❓ 解決する課題 LLM単体では、なぜその答えになったのかを辿りにくく、ハルシネーションのリスクもあります。 ・エージェントの回答を、検証可能で説明可能な事実に根拠づけるのが難しい ・TrustGraphはナレッジグラフ構築とGraphRAGを組み合わせ、意味的に豊かで検証可能なコンテキストにアクセスできるようにします ・しかも主権的に管理できるプライベート環境で実現します 💡 主な特徴 ・マルチモデルDB（表・KV・ドキュメント・グラフ・ベクトル）とマルチモーダル対応、エンティティ/関係の自動抽出 ・DocumentRAG・GraphRAG・OntologyRAGのパイプラインと、3D GraphVizによる可視化 ・単一/マルチエージェント、ReAct・Plan-then-Execute・Supervisorパターン、MCP統合 ・Context Cores：スキーマ・グラフ・埋め込み・エビデンス・検索ポリシーを束ね、コンテキストをコードのようにバージョン管理 🌍 技術スタック / 使い方 ストレージはCassandra・Qdrant・Garage、メッセージングはPulsar等、LLMはAnthropic/OpenAI/Google等＋ローカル推論（vLLM/Ollama等）に対応。npx @trustgraph/configで構成し、ポート8888のUIから利用できます。Apache 2.0ライセンスです。 #GraphRAG# #ナレッジグラフ#

1時間級の長尺動画を丸ごと理解し、ツールも検索も使いこなす——総30Bパラメータでも推論時はわずか3Bで動く、効率的なマルチモーダルモデルです🎬 タイトル: Kwai Keye-VL-2.0 Technical Report URL: 🎬 概要 Kuaishou（快手）が開発した、長尺動画理解とエージェント的知能に特化したオープンソースのマルチモーダル基盤モデルです。Mixture-of-Experts（MoE）構成を採用し、総30Bパラメータのうち推論時に活性化するのは3Bのみという効率性を実現しています。 ❓ 解決する課題 時間単位（hour-level）の長い動画を扱うには、膨大な計算が必要になります。 ・フレーム数が多く、長距離の時間依存を捉えるのが難しい ・計算制約に対処しつつ、多様なタスクで高い性能を保つことが課題でした 💡 方法論と提案手法 ・長文脈処理：DeepSeek Sparse Attention（DSA）をGQAベースのアーキテクチャに適応させ、256Kコンテキストのロスレス処理を実現。重要なフレームと長距離の時間依存を捉えます ・インフラ：スケーラブルな動画I/O、異種のViT-LM並列化、カスタムのDSAカーネル ・訓練：マルチタスクのアライメント時に生じる破滅的忘却に対処するため、Cross-Modal Multi-Teacher On-Policy Distillation（MOPD）を、Context-RL・Video-RLと組み合わせます 📊 実験結果 ・同規模のモデルの中で最先端（SOTA）の性能を達成しました ・特に、TimeLensでの細粒度な時間的ローカライズで際立ちます ・Video-MME-v2とLongVideoBenchでの長尺動画理解でも優れています ・Code・Tool・Searchをまたぐマルチモーダルなエージェント協調や、自己修正能力も備えます 🌍 ユースケース 長い動画の理解・検索・モデレーション、動画を扱う自律エージェントの基盤などに向きます。スパースアテンションをこの規模のマルチモーダルに初めて適用した点で、時間単位の動画処理を計算コストを抑えて現実的に回せるのが大きな強みです。 #動画理解# #マルチモーダル#