Coaching Studio第2回を公開しました🎙️ 今回のテーマは「コーチが越境すること」 ミズキさん（@mito1988）が、なぜシンガポールに渡り、そこで何を学んだのか。 ✔️ 初めての海外コーチング ✔️ プロクラブでの役割 ✔️ 自分の当たり前を越える経験 などについて話しました🗣️

Coaching Studio第1回を公開しました🎙️ 今回のテーマは「コーチを育てる人」 ✔️ コーチ教育とは？ ✔️ コーチはどう学び続けるのか？ ✔️ 「教える」と「学びを支援する」の違いとは？ などを、ミズキさん（@mito1988）と話しています！ ぜひ感想もお待ちしています🙌

🟧 Expo - AI Innovation Formula E レース シミュレーター（EX24） 「Coaching Agent」では、Gemini Enterprise Agent Platform が、シミュレータによるレース中にリアルタイム音声コーチを実施します。ぜひお試しください🏎️ #GoogleCloudNext🗼#

# ADKの便利で実践的な使い方 同じシステムプロンプトやツール定義を何度も送信していませんか？Context Cachingで繰り返しのトークンコストを大幅に削減しましょう💰 📌 **タイトル**: Context Caching 🔗 **URL**: ## 🧩 概要 Context Cachingは、LLMに送信するコンテキスト（システムインストラクションやツール定義など）の静的な部分をキャッシュし、繰り返しのトークンコストを削減する機能です。 `ContextCacheConfig` を設定することで、毎回のリクエストで同じプレフィックストークンを再送信する代わりに、キャッシュされたコンテキストを参照するようになります。 特にマルチユーザー環境で同じエージェント（同じプロンプト・ツール定義）を多くのユーザーが利用する場合、コスト最適化の効果が顕著です。 ## 🛠 使い方 `google.adk` から `Agent` を、`google.adk.agents` から `ContextCacheConfig` をインポートします。`ContextCacheConfig(max_entries=100, ttl_seconds=3600)` でキャッシュエントリの上限と有効期間（秒）を設定します。この `cache_config` を `Agent` の `context_cache_config` パラメータに渡すことで、`instruction` に記述した長いシステムプロンプトや `tools` に指定したツール定義（`search_kb`、`create_ticket`、`escalate` など）の静的部分がキャッシュされ、繰り返しのトークンコストが削減されます。 ## 🏗 実践的な使い方 **大規模カスタマーサポートの最適化:** カスタマーサポートエージェントでは、以下の要素が全ユーザーで共通です。 - システムインストラクション（対応ガイドライン、トーン、禁止事項） - ツール定義（ナレッジベース検索、チケット作成、エスカレーション） - Few-shotの例示 これらの静的なコンテキストは毎リクエストで数千トークンになることがあります。1日1万リクエストのサポートボットなら、Context Cachingにより膨大なトークン削減が見込めます。 **RAGパイプラインでの活用:** ツール定義にナレッジベースのスキーマや検索パラメータの説明が含まれる場合、これらをキャッシュすることで各クエリのコストを最適化できます。 **マルチテナントSaaS:** 同一のエージェント定義を複数テナントで共有する場合、テナント固有の情報のみが動的部分となり、共通のプロンプトとツール定義はキャッシュで共有されます。 ## 💡 ユースケース - 💰 コスト削減: 長いシステムプロンプトの繰り返し送信コストを削減 - 🚀 レイテンシ改善: キャッシュヒット時のプリフィル処理が高速化 - 👥 マルチユーザー最適化: 同じプロンプトを使う複数ユーザーでキャッシュを共有 - 🏢 マルチテナント: テナント共通部分のコンテキストを効率的にキャッシュ - 📚 大規模ツール定義: 多数のツールを持つエージェントのツール定義コストを最適化 ## ⚠️ 注意点 - Context Cachingはモデルプロバイダーのサポートに依存します。利用可能なモデルを事前に確認してください - キャッシュのTTL（有効期限）が短すぎるとヒット率が下がり、長すぎるとメモリを消費します。アクセスパターンに応じて調整してください - システムプロンプトやツール定義を頻繁に変更する場合、キャッシュの恩恵は限定的です - キャッシュのコスト自体も発生する場合があります。プロバイダーの料金体系を確認し、トータルコストで判断してください - 動的なコンテキスト（ユーザー固有の情報など）はキャッシュ対象外です。静的部分と動的部分を明確に分離して設計しましょう ✨ Context Cachingは「同じことを何度も言わない」をインフラレベルで実現します。マルチユーザー環境でのコスト最適化に大きな効果を発揮します！ #ADK# #AIAgent#

61億リクエスト・9,174モデル・1年間の非サンプリング本番トレースでLLMサービングの実態を解明——LLM基盤の設計者なら必読の論文です。 A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing 🔍 概要 Chutesの本番環境から1年間（2025年4月〜2026年4月）のリクエストレベルトレースを収集。61.2億リクエスト・31.5万ユーザー・9,174モデルという規模で、LLMサービングの実態を初めて包括的に可視化しました。 ⚠️ 解決する課題 既存研究は短期間・サンプリング済み・単一モデルという制約を抱えていました。本論文はその空白を埋め、プレフィックスキャッシュの再利用・ルーティング・負荷分散を実データで検証します。 🔬 主要な発見 ・ワークロードは非定常: リクエスト数と実際のコストは別のトレンドで変化する（短期観測では容量計画が不正確になる） ・出力トークンは短縮傾向: 年初の数百トークンから年末は100以下へ下降 ・キャッシュ再利用の 99% は前回リクエストから 15分以内に到着（80% は 0.1秒以内） ・LRU は多くの場合に複雑アルゴリズムと同等以上、ARC は中間サイズで大幅劣化 ・Cache-first ルーティングはラウンドロビン・ロードファーストを大幅に上回り、負荷不均衡は 5〜7% 以内に収まる ・Sticky ルーティングは最高ヒット率だが負荷不均衡が桁違いに大きく非現実的 📊 実験結果 100K トークンの MiniMax-M2.5 リクエストは約27GB のKV状態を占有し、インスタンス間転送には約20.4GB が必要。ルーティングの変動がKV複製を招き、キャッシュ局所性と負荷分散は本質的なトレードオフを持ちます。Cache-first は局所性を保ちつつ、単一ターンセッションが多いという性質のため負荷不均衡が抑制されます。 #LLM# #MLシステム#

便利だけど知られていないGemini APIの機能 💰 毎回同じ長いシステムプロンプトを送り直してトークン代を垂れ流していませんか？ Geminiの「コンテキストキャッシュ保存（Context caching）」を使えば、共通する長い入力を一度キャッシュし、以降のリクエストで再利用することで入力トークンコストを大幅に削減できます。大量のドキュメントや長いプロンプトを繰り返し使う場面で、コストが劇的に変わります。 📌 タイトル：コンテキストのキャッシュ保存（Context caching） 🔗 URL： 🧩 概要 LLMに長い共通コンテキスト（マニュアル全文、コードベース、数百ページのPDF等）を毎回送ると、その分のトークンが毎回課金されます。Context cachingは、そのコンテキストをGoogle側にキャッシュとして保持し、後続リクエストでは参照だけで済むようにする仕組みです。暗黙的キャッシュ（同じ入力が自動で再利用）と明示的キャッシュ（手動で作成・TTL管理）の2種類があります。 🛠 使い方 明示的キャッシュの場合、まずキャッシュを作成するAPIを呼び、system instructionや長い入力コンテンツを登録します。返されたキャッシュ名を以降のgenerateContentリクエストに渡すだけ。TTL（有効期限）はデフォルト1時間で、用途に応じて調整可能。暗黙的キャッシュは何も設定しなくても同一プレフィックスが自動的に再利用されるため、まずはそのままの利用で恩恵を受けられます。 🏗 本番システムへの組み込み方 ・社内ナレッジベースQA：全社マニュアルや規約文書をキャッシュし、ユーザーの質問ごとに毎回送信する必要をなくす。応答速度もコストも改善。 ・コードレビューbot：リポジトリのコードベースやコーディング規約をキャッシュし、PRごとのレビュー依頼で共通部分の再送を省略。 ・カスタマーサポート：FAQ・製品仕様書をキャッシュして、問い合わせのたびに巨大なコンテキストを再送しない構成に。 ・バッチ分析パイプライン：同じ参照データに対して大量の個別クエリを投げる処理で、キャッシュにより1件あたりのコストを圧縮。 💡 ユースケース 📚 長文ドキュメントに対する繰り返しの質問応答 🔍 共通のシステムプロンプトを使う大量リクエスト 🧑‍💻 コードベース全体を文脈に持つ開発支援ツール 📊 同一データセットへの複数観点での分析 ⚠️ 注意点 キャッシュには最低トークン数の要件があり、短いプロンプトではキャッシュ作成できません。また、キャッシュの保持にはストレージ料金がかかるため、利用頻度が低い場合はかえって割高になることも。TTLの設定と利用パターンを見極めて、コストメリットが出る場面に絞るのがポイントです。 ✨ 「同じものを何度も送る」コストは積み重なると大きな差になります。まずは一番長い共通コンテキストをキャッシュしてみてください。 #Gemini# #LLM#

# ADKの便利で実践的な使い方 ## 🏢 アプリケーション単位で状態を分離！ADKのApps機能 複数のエージェントワークフローを管理するとき、状態やアーティファクトが混ざってしまう…ADKの **Apps** を使えば、`app_name` によるネームスペースでState/Artifact/Memoryを完全に分離できます！🏗️ ## 📌 タイトル Apps（アプリケーション） ## 🔗 URL ## 🧩 概要 App クラスは、ADKエージェントワークフローのトップレベルコンテナです。ルートエージェントを中心に、ライフサイクル管理、共有リソースの一元設定、状態スコープの定義を担います。 主な役割： - **一元設定**：APIキーやDBクライアントなどの共有リソースを一箇所で管理 - **ライフサイクル管理**：スタートアップ/シャットダウンフック - **状態スコープ**：`app:*` プレフィックスで明示的なデータ境界 - **デプロイ単位**：バージョニングとテストの正式な単位 さらに、Context Caching、Context Compaction、Resumability、Pluginsの設定もAppレベルで行えます。 ## 🛠 使い方 `google.adk.agents.llm_agent` から `Agent`、`google.adk.apps` から `App`、`google.adk.runners` から `InMemoryRunner` をインポートします。`Agent` を `model='gemini-flash-latest'`、`name='assistant'`、`description='汎用アシスタント'` で作成します。次に `App` を `name="my_app"` で作成し、`root_agent` を渡します。オプションで `plugins`、`context_cache_config`、`events_compaction_config`、`resumability_config` も指定可能です。最後に `InMemoryRunner(app=app)` でランナーを作成し、`await "こんにちは！")` で実行します。 ## 🏗 実践的な使い方 **マルチテナントSaaSでのデータ分離：** `app_name` をテナントごとに変えることで、State/Artifact/Memoryの完全な分離を実現できます。 `create_tenant_app(tenant_id: str, root_agent: Agent) -> App` 関数を定義し、テナントごとに独立した `App` を作成します。`name=f"saas_{tenant_id}"` でテナント固有のネームスペースを設定し、`plugins` に全テナント共通の `SecurityGuardPlugin()` とテナント別の `TenantLoggingPlugin(tenant_id)` を渡します。テナントAでは `create_tenant_app("tenant_a", support_agent)` で App を作成し `InMemoryRunner` で実行すると、State は `"app:saas_tenant_a:*"` に保存されテナントBからは見えません。テナントBも同様に `"app:saas_tenant_b:*"` に保存され、テナントAからは見えません。 **環境別の設定分離：** 開発環境では `App` を `name="myservice_dev"` で作成し、`plugins` に `DebugLoggingPlugin()` を、`events_compaction_config` に `EventsCompactionConfig(compaction_interval=10, overlap_size=3)` を設定します。本番環境では `name="myservice_prod"` で作成し、`plugins` に `SecurityGuardPlugin()`、`BigQueryAnalyticsPlugin()`、`RateLimitPlugin()` を設定し、`events_compaction_config` は `EventsCompactionConfig(compaction_interval=5, overlap_size=2)` とより頻繁なコンパクションを行います。 ## 💡 ユースケース - 🏢 **マルチテナントSaaS**：テナントごとにAppを分離し、データの混在を完全防止 - 🔧 **環境分離**：dev/staging/prodで異なるプラグインと設定を適用 - 📦 **マイクロサービス**：サービスごとに独立したAppとしてデプロイ・バージョニング - 🧪 **A/Bテスト**：同じエージェントを異なるApp設定で実行し、効果を比較 - 🔄 **ライフサイクル管理**：DB接続プールやキャッシュの初期化/クリーンアップを一元管理 ## ⚠️ 注意点 - `app_name` はState/Artifact/Memoryのネームスペースに使われるため、一意で変更しないようにしてください - App名を変更すると、過去のStateやArtifactにアクセスできなくなります - 複数のAppが同じルートエージェントを共有する場合、エージェントのステートレス性を確保してください - PluginsはAppレベルで設定するため、テナント共通とテナント固有のプラグインを適切に分離しましょう ## ✨ まとめ Appクラスは、ADKエージェントのデプロイと運用における「境界」を明確にする仕組みです。マルチテナント分離、環境別設定、ライフサイクル管理…Appを適切に設計することで、スケーラブルで安全なエージェントアプリケーションを構築できます！ #ADK# #AIAgent#

長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#

便利だけど知られていないClaude APIの機能 📁 同じファイルを何度もBase64で送り直すの、もう疲れていませんか？ ClaudeのFiles API は、ファイルをアップロードして複数のリクエストで再利用できる仕組みです。毎回ファイルを添付し直す必要がなくなり、コストもレイテンシも削減できます。 📌 タイトル：Files API 🔗 URL： 🧩 概要 画像やPDF、テキストファイルをClaudeに処理させたいとき、従来はリクエストのたびにBase64エンコードしたファイルデータを送る必要がありました。Files APIを使うと、ファイルを一度アップロードしてIDを取得し、以降はそのIDを参照するだけで同じファイルを複数のリクエストで使い回せます。転送量の削減とPrompt Cachingとの相性の良さがポイントです。 🛠 使い方 まずFiles APIでファイルをアップロードし、返されたfile_idを保存します。Messages APIでそのファイルを使いたいときは、file_idを参照するコンテンツブロックを使います。同じファイルに対して複数の質問をしたり、異なるプロンプトで処理したりする場合に、毎回ファイルデータを送る必要がありません。 🏗 本番システムへの組み込み方 ・文書分析サービス：ユーザーがアップロードしたPDFを一度保存し、複数の分析（要約・質問応答・データ抽出）を順次実行。毎回PDFを送り直さない。 ・画像分析パイプライン：大量の画像を事前アップロードし、バッチで分析。転送コストとレイテンシを大幅に削減。 ・マルチターン文書チャット：参照文書をアップロードしておき、何度も質問を重ねる対話型文書QAに。 ・テンプレート管理：定型文書やスタイルガイドをファイルとして保存し、生成リクエストで繰り返し参照。 💡 ユースケース 📄 PDF・文書の繰り返し分析 🖼 画像のバッチ処理 💬 文書ベースのマルチターンチャット 📋 テンプレートファイルの再利用 ⚠️ 注意点 アップロードしたファイルには保持期限があるため、長期間参照する場合は期限を確認してください。また、ファイルのサイズ制限にも注意が必要です。大量のファイルを管理する場合は、file_idのライフサイクル管理を仕組み化しておきましょう。 ✨ 同じファイルに何度もお金を払うのは無駄。一度アップロードして使い回すだけで、コストも開発体験も改善します。 #Claude# #LLM#