登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 LLM推論
LLM推論 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
LLM推論 を含む検索結果
長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ(LMCacheなど)は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#
もっと見る
LLMに「選択肢から選ばせる」とき、考えさせるかどうかを後から調整できたら便利だと思いませんか🤔 ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions ❓ 型付き決定って何? 💡 チケットのルーティングやルール検査のように、固定の選択肢から選び、その結果をコードが実行する決定です。1回の順伝播で選択肢の確率を読めば速いのですが、日付計算のような多段階の決定では間違えます。 ❓ どう解決するの? 💡 学習なしで、1つのQwen3モデルを2通りに使います。考えずに答えるSystem 1と、考えた後に答えるSystem 2を、同じキャッシュ済みプロンプト上で動かします。1つの思考を途中で切って閉じるだけで、予算ごとの精度曲線も得られます。 ❓ どれくらい効くの? 💡 Qwen3.5-27Bでは、直接回答が62.2%、常に考えると82.7%です。anytime方策は81.6%を、思考トークン72%で達成しました。目標5%のとき、System 1は決定の24.5%に答え、実際の誤り率は3.9%でした。 ❓ 注意点は? 💡 事前登録した節約の基準は、すべてのモデルで満たされませんでした。System 1の確信度は「いつ考えるか」の信号としては弱く、思考予算を変えたら較正のやり直しも必要です。 #LLM推論# #較正#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Adaptive Timeout & Budget-Bounded Retry|適応タイムアウト+予算律速リトライ 🎯 リトライ3回で固定していませんか?LLMリトライ1回で数千トークン消費する世界では、回数でなく予算で律速すべきです。 固定タイムアウト・固定回数リトライは、エージェント時代のエラー処理には力不足です。 🔥 解決する課題 エージェント実行ではツール呼び出し(数秒)とLLM推論(数十秒〜分)でレイテンシ特性が全く異なります。同じタイムアウトで括ると、前者は待ちすぎ・後者は早すぎで切れます。さらに固定3回リトライでも、LLMリトライは1回あたり数千トークンを消費して予算を突き破りえます。429(レート制限)とスキーマ不適合を同じリトライで処理しても、後者は同じプロンプトでは直りません。 💡 提案パターン Adaptive Timeout & Budget-Bounded Retry(適応タイムアウト+予算律速リトライ)は、操作クラス(ツール呼び出し・LLM推論・セッション全体)ごとにタイムアウトを分けます。リトライは固定回数でなく残りトークン予算で打ち切ります。エラーを一時障害・コンテンツ起因・コンテキスト長超過の3種に分類し、それぞれ指数バックオフ・self-correction・要約分割と対応戦略を切り替えます。予算を一定割合消費したら縮退(軽量モデルへのフォールバック)に移行し、尽きたらfail-fastで停止します。 ✅ 選定条件 使うとき: - LLM・ツール・外部APIなどレイテンシ特性の異なる操作を組み合わせている - リトライ1回あたりのコストが無視できない(LLM推論を含む) - ネットワーク一時障害とコンテンツ起因エラーの両方が発生しうる 使わないとき: - 単発LLM呼び出しのみで固定タイムアウトで十分な場合 - 非冪等な書込のみでリトライ自体が禁止される環境 ⚠️ 落とし穴 - 429応答のRetry-Afterヘッダを無視して自前バックオフだけで攻めると、プロバイダ側でさらに絞られます。必ずRetry-Afterを尊重してください - 非冪等書込のリトライには冪等キーが必須です。冪等キー無しのリトライは二重実行を招きます - self-correctionでエラー文をそのまま詰めすぎるとコンテキストが膨張してコンテキスト長超過に遷移します。エラー要約は200トークン以内に切り詰めましょう 🔧 実装方針 - タイムアウトを操作クラス別に定義します。ツール呼び出しは概ね10〜30秒、LLM推論は全体60〜120秒(ストリーミング時はトークン間5〜15秒)、セッション全体はdeadlineで律速します - エラーを3種に分類し、一時障害(429/5xx/timeout)は指数バックオフ+ジッタで再送、コンテンツ起因(スキーマ不適合等)はエラー要約をコンテキストに追加してself-correction、コンテキスト長超過は要約・分割で対処します - リトライ上限は固定回数でなく残りトークン予算で判定します。一時障害は予算の90%まで、self-correctionは70%までを上限とします - プロバイダごとに独立したサーキットブレーカ(Closed/Open/Half-Open)を設置し、連続失敗が閾値に達したら遮断して縮退ラダー(軽量モデル→キャッシュ応答→静的フォールバック→fail-fast)を降ります - 全プロバイダが共通インターフェースを実装するプロバイダ抽象化層を設け、フォールバック先の切り替えを呼び出し元に対して透過的にします #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。 タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失います ただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#
もっと見る
# AIエージェント開発の意思決定ポイント # タイムアウト|Timeout 🎯 ポイント 「全部30秒」のタイムアウト、まだ使っていませんか? AIエージェントでは、ツール呼び出しは数秒、LLM推論は数十秒、セッション全体は数十分。レイテンシ特性が全く異なる操作が組み合わさるため、一律のタイムアウトでは機能しません。層ごとに分けるのが第一歩です。 📋 概要 タイムアウトは、エージェントが特定の操作の完了を待つ最大時間を制御するダイヤルです。従来のWebサービスではHTTPリクエストに30秒程度を設ければ済みましたが、AIエージェントでは1リクエストが長く、レイテンシのばらつきが大きく、プロバイダの可用性も不安定です。 タイムアウトが短すぎると一時的な遅延で正常な処理を殺し、長すぎると障害を隠蔽してリソースを無駄に占有します。操作クラスごとにタイムアウトを分け、さらに観測データに基づいて動的に調整する仕組みが理想です。 🔍 意思決定のポイント タイムアウトの値はlatency_budget(ユーザーや下流システムがどれだけ待てるか)を最も強く反映します。少なくとも3層に分けて設定するのが基本です 📐 1. ツール呼び出し層 — 外部API・DB・ファイル操作。ツール種別ごとにさらに細分化も 2. LLM推論層 — 入力トークン数とモデル負荷で大きく変動。小型/大型モデルで応答時間が10倍異なることも 3. セッション全体層 — 「ユーザーがこのタスクに何分待てるか」から逆算 各操作のP99(99パーセンタイル)を観測し、安全係数1.5〜2.0倍を掛けた値が出発点です。P99がまだない立ち上げ初期は目安値から始め、1〜2週間の運用データで切り替えます。 💡 要点と詳細 目安値 📊 - ツール呼び出し(一般) → 10〜30秒。DBクエリは5秒でも長い場合あり - LLM推論(全体) → 60〜120秒。長文生成タスクは上限引き上げ - LLM推論(トークン間) → 5〜15秒。ストリーミング時のプロバイダ障害早期検出に有効 - LLM推論(TTFT) → 15〜30秒。入力が長いほど延びる - セッション全体 → 数分〜数十分。対話型は短く、調査・分析型は長く ストリーミングを使う場合は、全体タイムアウトよりトークン間タイムアウトの方が本質的な監視指標です 🔍 正常な推論では数百ミリ秒〜数秒間隔でトークンが返るため、15秒の無応答はプロバイダ側の異常を強く示唆します。 ⚖️ トレードオフ タイムアウトが短すぎると、複雑な推論タスクでLLMが高品質な回答を生成している途中で処理が中断されます ⏱️ Chain of Thoughtが深くなる正当なケースや、大量コンテキストの入力処理中にタイムアウトすることも。ピーク時のプロバイダ遅延で断続的に失敗し、リトライの連鎖が始まります。 タイムアウトが長すぎると、プロバイダが応答しないまま数分間スレッドが占有され、他のリクエストが詰まります 🚫 ハングしたツール呼び出しが放置され、ユーザーは「いつ終わるか分からない」最も苦痛な状態に。障害の検出も遅れます。 タイムアウト値の変更はリトライ戦略に直結します。短くすれば発火頻度が上がり、リトライが増えます。リトライ予算やセッション全体の予算と一体で調整する必要があります。 🛠️ ユースケース 対話型チャットアシスタント 💬 ユーザーが数秒以内の応答を期待。ツール3〜5秒、LLM推論15〜30秒(ストリーミングで即座にトークンを返し始める)、セッション全体60〜120秒。体感レイテンシの短縮にストリーミングが効果的です。 調査・分析エージェント 🔬 数分の処理が許容される。ツール10〜60秒、LLM推論60〜180秒、セッション全体5〜30分。タイムアウトよりコスト・ステップ数の予算が主要な制約に。 自動コードレビューエージェント 💻 大きな差分では入力トークンが数万に達し、TTFTが延びる。入力トークン数に応じてTTFTタイムアウトを動的に調整する仕組みが有効です。 タイムアウトとキャンセルは異なります ⚠️ タイムアウトはクライアント側で待つのを止めるだけで、プロバイダ側の処理は続行されている可能性があります。課金はプロバイダ側の処理量に基づくため、キャンセルリクエストも送信することを推奨します。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
💾 TL;DR: 別ノードのGPUが計算したKVキャッシュを、CXLメモリ経由でそのまま使い回して最大36.6倍高速化。SeagateがKubernetesネイティブな共有CXLメモリの仕組みを提案しました。 タイトル: Composable CXL Memory as a Kubernetes-Native Shared Memory for LLM Serving URL: 📌 ポイント 🧩 Kubernetes DRAドライバでCXLリージョンをスケジュール可能なリソース化 🗂 Redis等の外部調整なし、リージョン内蔵のスロットディレクトリでKV管理 🚀 32Kトークンのプレフィックスでクロスノード再利用が再計算比36.6倍高速 🎯 ヒット率は95.4〜99.5%を達成 ⚖️ クロスノードと同一ノードの遅延差はわずか1〜4% 🐢 同一ノードのGPU VRAMキャッシュと比べると1.15〜1.70倍のペナルティあり 🔧 実測帯域は5.8GB/sでファブリック上限27GB/sの一部、ゼロコピーDMAに伸びしろ 複数GPUノードでプレフィックスを使い回したいときの、地味だけど効く実用的な選択肢だと思います。 #LLM推論# #Kubernetes#
もっと見る
🔁 「じっくり考えるほど賢くなる」AIを、勾配爆発を起こさずに学習させる方法が見つかりました。 タイトル: Thinking with Looped Flows URL: 再帰的に隠れ状態を更新して「考える」ループモデルは、これまでBPTT(時間方向の逆伝播)の不安定さに悩まされてきました。Looped Flowsは拡散モデルの学習原理を借りることでこれを解決した手法です。注目ポイントを3つ紹介します。 🧠 BPTTなしで再帰計算を学習 ノイズレベルを徐々に減らしながら各ステップをローカルな損失で学習することで、勾配消失・爆発を起こさずに「考え続ける」状態を安定して学習できます。 ⏱ 推論時に計算量を後から増やせる 学習時より細かい時間刻みで推論するだけで性能が伸び、Sudokuでは8ステップの74.5%から128ステップで97.9%まで向上します。 🏆 ARC-AGIで既存手法を上回る ARC-AGI-1で58.8%、ARC-AGI-2で12.2%を達成し、いずれも従来のループモデル手法を上回りました。 推論時にじっくり計算するほど賢くなる、というテスト時スケーリングの新しい実現方法として興味深い研究です。 #LLM推論# #機械学習#
もっと見る
# AIエージェント開発の意思決定ポイント # 計画先行(Plan-then-Execute) vs 逐次推論行動(ReAct) 📝 🎯 ポイント 「未来をどこまで見通してから動くか」-- これはエージェント設計で避けて通れない分岐です。 まず計画を立ててから実行するか、1ステップずつ観察と行動を繰り返すか。計画を明示的な中間成果物として持つかどうかで、承認フロー・コスト制御・デバッグの設計が根本的に変わります。LLMは1リクエストが高コストなので、計画なしの試行錯誤はトークンを浪費します。しかし環境が動的に変化するなら、精緻な計画も実行中に陳腐化します。 📋 概要 Plan-then-Execute(計画先行)は、タスクを受け取ったらまずLLMが実行計画を構造化データ(JSON/YAML)として生成し、計画確定後(必要に応じて人間承認後)に各ステップを順次実行する方式です。ReAct(逐次推論行動)は、LLMが「観察→推論→行動」のサイクルを1ステップずつ繰り返し、全体の計画は暗黙的にLLMの内部推論に委ねる方式です。 🔍 意思決定のポイント **タスクの変動性(task_variability)** を主軸に判定します。 📊 **環境の動的さによる判定**: - 静的(実行中にデータや外部状態がほぼ変わらない) → Plan-then-Execute - 半静的(大枠は安定だが一部で状態が変わりうる) → Plan-then-Execute+逸脱時の再計画 - 動的(各ステップの結果が次の選択を大きく左右する) → ReAct 📊 **タスクの性質による判定**: - 手順が定型で人間が事前に承認したい → Plan-then-Execute - 手順は概ね分かるが細部は実行時に決まる → Plan-then-Execute(粗い計画+実行時微調整) - 手順自体が不明で探索的に進める → ReAct **failure_cost** が高い場合(不可逆操作を含む場合)は Plan-then-Execute に強く倒す動機があります。 💡 要点と詳細 🟢 **Plan-then-Executeの強み**は透明性と制御性です。計画が明示的な中間成果物であるため、実行前に人間が「この手順で大丈夫か」を確認できます。不可逆な操作を含む計画を事前に検証でき、安全性を確保できます。デバッグでも「計画が間違っていたのか、実行が間違っていたのか」を分離して調査できます。計画段階で不要なステップを刈り込めるため、トークン消費の抑制にも有効です。弱点は計画の陳腐化で、環境変化時に再計画のメタループが発生しうるため、再計画回数に上限(2〜3回)を設ける必要があります。 🟡 **ReActの強み**は適応性です。環境の変化にステップ単位で対応でき、予期しない状況にも柔軟に反応できます。計画を立てる余裕がないほど動的な環境や、手順が不明で探索的に進めるタスクに適しています。実装もシンプルで、計画の生成・保存・検証・再計画のインフラが不要です。弱点は予測不能性とコストで、LLMが何ステップ踏むか事前にわからず、自己ループのリスクがあります。 ⚖️ トレードオフ | 観点 | Plan-then-Execute | ReAct | |---|---|---| | 透明性 | 計画が明示的な成果物 🟢 | 暗黙的(LLM内部推論) 🔴 | | 人間の承認 | 計画全体を事前承認可 | 各ステップごとに介入が必要 | | コスト制御 | ステップ数で上限見積り可 | 事前にわからない | | 環境変化への適応 | 再計画が必要(コスト増) | ステップ単位で対応 🟢 | | デバッグ | 計画と実行を分離して調査 | 全ステップログの解析が必要 | | 実装複雑性 | 計画インフラが必要 | ループ制御のみで動作 | 🛠️ ユースケース 🔵 **Plan-then-Executeが向くケース**: 不可逆操作を含む処理、人間承認が必要なワークフロー、コスト予測が重要な処理、手順が定型的なタスク。 🔴 **ReActが向くケース**: デバッグ・調査、動的に変化する環境での処理、手順が不明で探索的に進めるタスク、プロトタイプ開発。 📌 **デフォルト戦略**: 計画先行(Plan-then-Execute)で、計画は人間が編集可能にしてください。最も実用的な折衷は「計画先行+逸脱時のみ再計画」です。まず計画を立て、各ステップの実行結果が期待と大きく異なる場合にのみ再計画を発動します。再計画では失敗情報を添えて新しい計画を生成するため、同じ失敗を繰り返しにくくなります。再計画回数の上限は2〜3回が目安です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
AIは「作る」から「信じて使い続ける」時代へ――本物か確かめる仕組みと、動かし続ける基盤に巨額マネーが集まる|Soichi Noguchi @Astro_Soichi #AI# #LLM# #Anthropic# #AI推論# #生成AI#
もっと見る
英国でAI推論(学習済みのモデルを動かして答えを出す処理)専用のチップを開発するFractileが、シリーズCで7.2億米ドルを調達しました( Capital、Founders Fund、Lightspeed Venture Partners、Redpointで、英国政府のSovereign AI Venture FundやBritish Business Bank、AlphabetのCapitalGも参加しています。英国政府の発表では、ラウンドは5億英ポンド超、評価額は50億英ポンド超。Financial TimesとReutersは評価額を70億米ドルと伝えています。CEOのWalter Goodwinは、この資金で来年に最初のチップとシステムを出荷すると書いており、ブリストルの拠点も広げる予定です。 扱うのは、AIが答えを出すまでの待ち時間です。LLM(大規模言語モデル)は何段階もの処理を経て出力を作り、1段階ごとに結果をチップの外にあるHBM(高帯域メモリ)へ送り、次の段階でまた読み戻します。この往復が推論を遅くします。大きなモデルに長い作業を連続でこなさせるエージェント的な使い方が広がり、速度を落とさずに回したいという要求が強まったことで、この制約が目立つようになりました。 Fractileの答えは、一般的なDRAMを各チップの真上に積み重ねる設計です。メモリを演算回路のすぐ上に置けばデータの移動距離が短くなり、速度が上がって電力も減ります。Cerebrasはチップ上に大容量のSRAM(高速だが高価で容量が限られるメモリ)を載せていますが、FractileはDRAMを使うことで、速さと容量のどちらかを諦める構図を避けようとしています。チップだけでなく、LLMを自社チップで速く動かすための機械学習コンパイラ(モデルをチップ向けに変換するソフト)まで含めて開発しており、ラック単位のシステムとして出荷する計画です。 英国政府にとっては、AIの土台になるハードウェアを国内に持つという産業政策の意味もあります。エージェントが長い作業を自律的にこなすようになるほど、モデルの賢さだけでなく出力の速さが、AIに任せられる仕事の範囲を決めていくのかもしれません。
もっと見る