🟧 Expo - AI Innovation Formula E レース シミュレーター（EX24） 「Coaching Agent」では、Gemini Enterprise Agent Platform が、シミュレータによるレース中にリアルタイム音声コーチを実施します。ぜひお試しください🏎️ #GoogleCloudNext🗼#

# ADKの便利で実践的な使い方 同じシステムプロンプトやツール定義を何度も送信していませんか？Context Cachingで繰り返しのトークンコストを大幅に削減しましょう💰 📌 **タイトル**: Context Caching 🔗 **URL**: ## 🧩 概要 Context Cachingは、LLMに送信するコンテキスト（システムインストラクションやツール定義など）の静的な部分をキャッシュし、繰り返しのトークンコストを削減する機能です。 `ContextCacheConfig` を設定することで、毎回のリクエストで同じプレフィックストークンを再送信する代わりに、キャッシュされたコンテキストを参照するようになります。 特にマルチユーザー環境で同じエージェント（同じプロンプト・ツール定義）を多くのユーザーが利用する場合、コスト最適化の効果が顕著です。 ## 🛠 使い方 `google.adk` から `Agent` を、`google.adk.agents` から `ContextCacheConfig` をインポートします。`ContextCacheConfig(max_entries=100, ttl_seconds=3600)` でキャッシュエントリの上限と有効期間（秒）を設定します。この `cache_config` を `Agent` の `context_cache_config` パラメータに渡すことで、`instruction` に記述した長いシステムプロンプトや `tools` に指定したツール定義（`search_kb`、`create_ticket`、`escalate` など）の静的部分がキャッシュされ、繰り返しのトークンコストが削減されます。 ## 🏗 実践的な使い方 **大規模カスタマーサポートの最適化:** カスタマーサポートエージェントでは、以下の要素が全ユーザーで共通です。 - システムインストラクション（対応ガイドライン、トーン、禁止事項） - ツール定義（ナレッジベース検索、チケット作成、エスカレーション） - Few-shotの例示 これらの静的なコンテキストは毎リクエストで数千トークンになることがあります。1日1万リクエストのサポートボットなら、Context Cachingにより膨大なトークン削減が見込めます。 **RAGパイプラインでの活用:** ツール定義にナレッジベースのスキーマや検索パラメータの説明が含まれる場合、これらをキャッシュすることで各クエリのコストを最適化できます。 **マルチテナントSaaS:** 同一のエージェント定義を複数テナントで共有する場合、テナント固有の情報のみが動的部分となり、共通のプロンプトとツール定義はキャッシュで共有されます。 ## 💡 ユースケース - 💰 コスト削減: 長いシステムプロンプトの繰り返し送信コストを削減 - 🚀 レイテンシ改善: キャッシュヒット時のプリフィル処理が高速化 - 👥 マルチユーザー最適化: 同じプロンプトを使う複数ユーザーでキャッシュを共有 - 🏢 マルチテナント: テナント共通部分のコンテキストを効率的にキャッシュ - 📚 大規模ツール定義: 多数のツールを持つエージェントのツール定義コストを最適化 ## ⚠️ 注意点 - Context Cachingはモデルプロバイダーのサポートに依存します。利用可能なモデルを事前に確認してください - キャッシュのTTL（有効期限）が短すぎるとヒット率が下がり、長すぎるとメモリを消費します。アクセスパターンに応じて調整してください - システムプロンプトやツール定義を頻繁に変更する場合、キャッシュの恩恵は限定的です - キャッシュのコスト自体も発生する場合があります。プロバイダーの料金体系を確認し、トータルコストで判断してください - 動的なコンテキスト（ユーザー固有の情報など）はキャッシュ対象外です。静的部分と動的部分を明確に分離して設計しましょう ✨ Context Cachingは「同じことを何度も言わない」をインフラレベルで実現します。マルチユーザー環境でのコスト最適化に大きな効果を発揮します！ #ADK# #AIAgent#

61億リクエスト・9,174モデル・1年間の非サンプリング本番トレースでLLMサービングの実態を解明——LLM基盤の設計者なら必読の論文です。 A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing 🔍 概要 Chutesの本番環境から1年間（2025年4月〜2026年4月）のリクエストレベルトレースを収集。61.2億リクエスト・31.5万ユーザー・9,174モデルという規模で、LLMサービングの実態を初めて包括的に可視化しました。 ⚠️ 解決する課題 既存研究は短期間・サンプリング済み・単一モデルという制約を抱えていました。本論文はその空白を埋め、プレフィックスキャッシュの再利用・ルーティング・負荷分散を実データで検証します。 🔬 主要な発見 ・ワークロードは非定常: リクエスト数と実際のコストは別のトレンドで変化する（短期観測では容量計画が不正確になる） ・出力トークンは短縮傾向: 年初の数百トークンから年末は100以下へ下降 ・キャッシュ再利用の 99% は前回リクエストから 15分以内に到着（80% は 0.1秒以内） ・LRU は多くの場合に複雑アルゴリズムと同等以上、ARC は中間サイズで大幅劣化 ・Cache-first ルーティングはラウンドロビン・ロードファーストを大幅に上回り、負荷不均衡は 5〜7% 以内に収まる ・Sticky ルーティングは最高ヒット率だが負荷不均衡が桁違いに大きく非現実的 📊 実験結果 100K トークンの MiniMax-M2.5 リクエストは約27GB のKV状態を占有し、インスタンス間転送には約20.4GB が必要。ルーティングの変動がKV複製を招き、キャッシュ局所性と負荷分散は本質的なトレードオフを持ちます。Cache-first は局所性を保ちつつ、単一ターンセッションが多いという性質のため負荷不均衡が抑制されます。 #LLM# #MLシステム#

便利だけど知られていないGemini APIの機能 💰 毎回同じ長いシステムプロンプトを送り直してトークン代を垂れ流していませんか？ Geminiの「コンテキストキャッシュ保存（Context caching）」を使えば、共通する長い入力を一度キャッシュし、以降のリクエストで再利用することで入力トークンコストを大幅に削減できます。大量のドキュメントや長いプロンプトを繰り返し使う場面で、コストが劇的に変わります。 📌 タイトル：コンテキストのキャッシュ保存（Context caching） 🔗 URL： 🧩 概要 LLMに長い共通コンテキスト（マニュアル全文、コードベース、数百ページのPDF等）を毎回送ると、その分のトークンが毎回課金されます。Context cachingは、そのコンテキストをGoogle側にキャッシュとして保持し、後続リクエストでは参照だけで済むようにする仕組みです。暗黙的キャッシュ（同じ入力が自動で再利用）と明示的キャッシュ（手動で作成・TTL管理）の2種類があります。 🛠 使い方 明示的キャッシュの場合、まずキャッシュを作成するAPIを呼び、system instructionや長い入力コンテンツを登録します。返されたキャッシュ名を以降のgenerateContentリクエストに渡すだけ。TTL（有効期限）はデフォルト1時間で、用途に応じて調整可能。暗黙的キャッシュは何も設定しなくても同一プレフィックスが自動的に再利用されるため、まずはそのままの利用で恩恵を受けられます。 🏗 本番システムへの組み込み方 ・社内ナレッジベースQA：全社マニュアルや規約文書をキャッシュし、ユーザーの質問ごとに毎回送信する必要をなくす。応答速度もコストも改善。 ・コードレビューbot：リポジトリのコードベースやコーディング規約をキャッシュし、PRごとのレビュー依頼で共通部分の再送を省略。 ・カスタマーサポート：FAQ・製品仕様書をキャッシュして、問い合わせのたびに巨大なコンテキストを再送しない構成に。 ・バッチ分析パイプライン：同じ参照データに対して大量の個別クエリを投げる処理で、キャッシュにより1件あたりのコストを圧縮。 💡 ユースケース 📚 長文ドキュメントに対する繰り返しの質問応答 🔍 共通のシステムプロンプトを使う大量リクエスト 🧑‍💻 コードベース全体を文脈に持つ開発支援ツール 📊 同一データセットへの複数観点での分析 ⚠️ 注意点 キャッシュには最低トークン数の要件があり、短いプロンプトではキャッシュ作成できません。また、キャッシュの保持にはストレージ料金がかかるため、利用頻度が低い場合はかえって割高になることも。TTLの設定と利用パターンを見極めて、コストメリットが出る場面に絞るのがポイントです。 ✨ 「同じものを何度も送る」コストは積み重なると大きな差になります。まずは一番長い共通コンテキストをキャッシュしてみてください。 #Gemini# #LLM#

長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#

便利だけど知られていないClaude APIの機能 📁 同じファイルを何度もBase64で送り直すの、もう疲れていませんか？ ClaudeのFiles API は、ファイルをアップロードして複数のリクエストで再利用できる仕組みです。毎回ファイルを添付し直す必要がなくなり、コストもレイテンシも削減できます。 📌 タイトル：Files API 🔗 URL： 🧩 概要 画像やPDF、テキストファイルをClaudeに処理させたいとき、従来はリクエストのたびにBase64エンコードしたファイルデータを送る必要がありました。Files APIを使うと、ファイルを一度アップロードしてIDを取得し、以降はそのIDを参照するだけで同じファイルを複数のリクエストで使い回せます。転送量の削減とPrompt Cachingとの相性の良さがポイントです。 🛠 使い方 まずFiles APIでファイルをアップロードし、返されたfile_idを保存します。Messages APIでそのファイルを使いたいときは、file_idを参照するコンテンツブロックを使います。同じファイルに対して複数の質問をしたり、異なるプロンプトで処理したりする場合に、毎回ファイルデータを送る必要がありません。 🏗 本番システムへの組み込み方 ・文書分析サービス：ユーザーがアップロードしたPDFを一度保存し、複数の分析（要約・質問応答・データ抽出）を順次実行。毎回PDFを送り直さない。 ・画像分析パイプライン：大量の画像を事前アップロードし、バッチで分析。転送コストとレイテンシを大幅に削減。 ・マルチターン文書チャット：参照文書をアップロードしておき、何度も質問を重ねる対話型文書QAに。 ・テンプレート管理：定型文書やスタイルガイドをファイルとして保存し、生成リクエストで繰り返し参照。 💡 ユースケース 📄 PDF・文書の繰り返し分析 🖼 画像のバッチ処理 💬 文書ベースのマルチターンチャット 📋 テンプレートファイルの再利用 ⚠️ 注意点 アップロードしたファイルには保持期限があるため、長期間参照する場合は期限を確認してください。また、ファイルのサイズ制限にも注意が必要です。大量のファイルを管理する場合は、file_idのライフサイクル管理を仕組み化しておきましょう。 ✨ 同じファイルに何度もお金を払うのは無駄。一度アップロードして使い回すだけで、コストも開発体験も改善します。 #Claude# #LLM#

🧵 TL;DR: 長く走るAIエージェントはトークンコストが膨らみがち。Deep Agents はプロンプトキャッシュを"設定不要"で効かせ、実タスクで最大80%のコスト削減を実現します。 タイトル: Prompt Caching with Deep Agents URL: ポイント 💸 毎リクエストで会話履歴・システムプロンプト・ツール定義を再処理してコストが積み上がるのが課題 ⚡ プロンプトキャッシュは静的部分の計算結果を再利用し、新規の差分だけを処理 🧩 明示的なキャッシュ区切り（breakpoint）で、プロンプトが少し変わっても部分ヒットを維持 🤖 Deep Agents は3戦略を自動適用（明示breakpoint／プロバイダ側の暗黙キャッシュ／キャッシュ最大化の構造化） 📊 実測でClaude Haiku 4.5は-77%、GPT-5.4-miniは-80%、Gemini 3.5-Flashは-49% 🔭 LangSmith でキャッシュ読み取りトークンを可視化し、削減を計測・最適化 ⏳ 会話が長いほど効果増。短いタスクでは恩恵は小さい 設定ゼロでプロバイダ差を吸収してくれる点が、実運用で効いてきそうです。 #LangChain# #AIエージェント#

# Claude Agent SDKの便利で実践的な使い方 💰 エージェントのコストをステップ単位・モデル別に追跡し、予算を最適化しましょう。 コストと使用状況の追跡は、`total_cost_usd` や `modelUsage` でエージェント実行のトークン消費とコストをリアルタイムに把握する機能です。 📌 タイトル：コストと使用状況の追跡 🔗 URL： 🧩 概要 ` で呼び出しごとの累積推定コストを取得し、`modelUsage` でモデル別のトークン内訳を確認できます。プロンプトキャッシュの最適化で大幅なコスト削減も可能です。 🛠 使い方 `ResultMessage` の `total_cost_usd` フィールドを読み取ります。`AssistantMessage` の `id` でデデュプリケーションしてステップ単位の正確な集計が可能です。 🏗 実践的な使い方 ・`total_cost_usd` で `query()` 呼び出しごとのコストを監視し、閾値を超えたらアラートを発行します。 ・`modelUsage` でサブエージェント用 Haiku とメイン用 Opus のコストを分解し、どこにコストがかかっているか可視化します。 ・`ENABLE_PROMPT_CACHING_1H=1` で TTL を 5 分→1 時間に延長し、短いセッションを多数回す場合のキャッシュ切れを防止します。 ・複数 `query()` の `total_cost_usd` をアプリ側で累積し、セッション横断のコスト管理を実現します。 💡 ユースケース 📊 ステップ単位のコスト可視化ダッシュボード 🔔 予算超過アラートの自動発行 ⚡ プロンプトキャッシュによるコスト最適化 ⚠️ 注意点 `total_cost_usd` は概算推定値です。権限ある請求管理には Usage and Cost API / Console を使用してください。SDK はセッション合計を提供しないため、アプリ側で累積する必要があります。 #ClaudeAgentSDK# #AI#