Coaching Studio第2回を公開しました🎙️ 今回のテーマは「コーチが越境すること」 ミズキさん（@mito1988）が、なぜシンガポールに渡り、そこで何を学んだのか。 ✔️ 初めての海外コーチング ✔️ プロクラブでの役割 ✔️ 自分の当たり前を越える経験 などについて話しました🗣️

Coaching Studio第1回を公開しました🎙️ 今回のテーマは「コーチを育てる人」 ✔️ コーチ教育とは？ ✔️ コーチはどう学び続けるのか？ ✔️ 「教える」と「学びを支援する」の違いとは？ などを、ミズキさん（@mito1988）と話しています！ ぜひ感想もお待ちしています🙌

🟧 Expo - AI Innovation Formula E レース シミュレーター（EX24） 「Coaching Agent」では、Gemini Enterprise Agent Platform が、シミュレータによるレース中にリアルタイム音声コーチを実施します。ぜひお試しください🏎️ #GoogleCloudNext🗼#

# ADKの便利で実践的な使い方 同じシステムプロンプトやツール定義を何度も送信していませんか？Context Cachingで繰り返しのトークンコストを大幅に削減しましょう💰 📌 **タイトル**: Context Caching 🔗 **URL**: ## 🧩 概要 Context Cachingは、LLMに送信するコンテキスト（システムインストラクションやツール定義など）の静的な部分をキャッシュし、繰り返しのトークンコストを削減する機能です。 `ContextCacheConfig` を設定することで、毎回のリクエストで同じプレフィックストークンを再送信する代わりに、キャッシュされたコンテキストを参照するようになります。 特にマルチユーザー環境で同じエージェント（同じプロンプト・ツール定義）を多くのユーザーが利用する場合、コスト最適化の効果が顕著です。 ## 🛠 使い方 `google.adk` から `Agent` を、`google.adk.agents` から `ContextCacheConfig` をインポートします。`ContextCacheConfig(max_entries=100, ttl_seconds=3600)` でキャッシュエントリの上限と有効期間（秒）を設定します。この `cache_config` を `Agent` の `context_cache_config` パラメータに渡すことで、`instruction` に記述した長いシステムプロンプトや `tools` に指定したツール定義（`search_kb`、`create_ticket`、`escalate` など）の静的部分がキャッシュされ、繰り返しのトークンコストが削減されます。 ## 🏗 実践的な使い方 **大規模カスタマーサポートの最適化:** カスタマーサポートエージェントでは、以下の要素が全ユーザーで共通です。 - システムインストラクション（対応ガイドライン、トーン、禁止事項） - ツール定義（ナレッジベース検索、チケット作成、エスカレーション） - Few-shotの例示 これらの静的なコンテキストは毎リクエストで数千トークンになることがあります。1日1万リクエストのサポートボットなら、Context Cachingにより膨大なトークン削減が見込めます。 **RAGパイプラインでの活用:** ツール定義にナレッジベースのスキーマや検索パラメータの説明が含まれる場合、これらをキャッシュすることで各クエリのコストを最適化できます。 **マルチテナントSaaS:** 同一のエージェント定義を複数テナントで共有する場合、テナント固有の情報のみが動的部分となり、共通のプロンプトとツール定義はキャッシュで共有されます。 ## 💡 ユースケース - 💰 コスト削減: 長いシステムプロンプトの繰り返し送信コストを削減 - 🚀 レイテンシ改善: キャッシュヒット時のプリフィル処理が高速化 - 👥 マルチユーザー最適化: 同じプロンプトを使う複数ユーザーでキャッシュを共有 - 🏢 マルチテナント: テナント共通部分のコンテキストを効率的にキャッシュ - 📚 大規模ツール定義: 多数のツールを持つエージェントのツール定義コストを最適化 ## ⚠️ 注意点 - Context Cachingはモデルプロバイダーのサポートに依存します。利用可能なモデルを事前に確認してください - キャッシュのTTL（有効期限）が短すぎるとヒット率が下がり、長すぎるとメモリを消費します。アクセスパターンに応じて調整してください - システムプロンプトやツール定義を頻繁に変更する場合、キャッシュの恩恵は限定的です - キャッシュのコスト自体も発生する場合があります。プロバイダーの料金体系を確認し、トータルコストで判断してください - 動的なコンテキスト（ユーザー固有の情報など）はキャッシュ対象外です。静的部分と動的部分を明確に分離して設計しましょう ✨ Context Cachingは「同じことを何度も言わない」をインフラレベルで実現します。マルチユーザー環境でのコスト最適化に大きな効果を発揮します！ #ADK# #AIAgent#

61億リクエスト・9,174モデル・1年間の非サンプリング本番トレースでLLMサービングの実態を解明——LLM基盤の設計者なら必読の論文です。 A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing 🔍 概要 Chutesの本番環境から1年間（2025年4月〜2026年4月）のリクエストレベルトレースを収集。61.2億リクエスト・31.5万ユーザー・9,174モデルという規模で、LLMサービングの実態を初めて包括的に可視化しました。 ⚠️ 解決する課題 既存研究は短期間・サンプリング済み・単一モデルという制約を抱えていました。本論文はその空白を埋め、プレフィックスキャッシュの再利用・ルーティング・負荷分散を実データで検証します。 🔬 主要な発見 ・ワークロードは非定常: リクエスト数と実際のコストは別のトレンドで変化する（短期観測では容量計画が不正確になる） ・出力トークンは短縮傾向: 年初の数百トークンから年末は100以下へ下降 ・キャッシュ再利用の 99% は前回リクエストから 15分以内に到着（80% は 0.1秒以内） ・LRU は多くの場合に複雑アルゴリズムと同等以上、ARC は中間サイズで大幅劣化 ・Cache-first ルーティングはラウンドロビン・ロードファーストを大幅に上回り、負荷不均衡は 5〜7% 以内に収まる ・Sticky ルーティングは最高ヒット率だが負荷不均衡が桁違いに大きく非現実的 📊 実験結果 100K トークンの MiniMax-M2.5 リクエストは約27GB のKV状態を占有し、インスタンス間転送には約20.4GB が必要。ルーティングの変動がKV複製を招き、キャッシュ局所性と負荷分散は本質的なトレードオフを持ちます。Cache-first は局所性を保ちつつ、単一ターンセッションが多いという性質のため負荷不均衡が抑制されます。 #LLM# #MLシステム#

便利だけど知られていないGemini APIの機能 💰 毎回同じ長いシステムプロンプトを送り直してトークン代を垂れ流していませんか？ Geminiの「コンテキストキャッシュ保存（Context caching）」を使えば、共通する長い入力を一度キャッシュし、以降のリクエストで再利用することで入力トークンコストを大幅に削減できます。大量のドキュメントや長いプロンプトを繰り返し使う場面で、コストが劇的に変わります。 📌 タイトル：コンテキストのキャッシュ保存（Context caching） 🔗 URL： 🧩 概要 LLMに長い共通コンテキスト（マニュアル全文、コードベース、数百ページのPDF等）を毎回送ると、その分のトークンが毎回課金されます。Context cachingは、そのコンテキストをGoogle側にキャッシュとして保持し、後続リクエストでは参照だけで済むようにする仕組みです。暗黙的キャッシュ（同じ入力が自動で再利用）と明示的キャッシュ（手動で作成・TTL管理）の2種類があります。 🛠 使い方 明示的キャッシュの場合、まずキャッシュを作成するAPIを呼び、system instructionや長い入力コンテンツを登録します。返されたキャッシュ名を以降のgenerateContentリクエストに渡すだけ。TTL（有効期限）はデフォルト1時間で、用途に応じて調整可能。暗黙的キャッシュは何も設定しなくても同一プレフィックスが自動的に再利用されるため、まずはそのままの利用で恩恵を受けられます。 🏗 本番システムへの組み込み方 ・社内ナレッジベースQA：全社マニュアルや規約文書をキャッシュし、ユーザーの質問ごとに毎回送信する必要をなくす。応答速度もコストも改善。 ・コードレビューbot：リポジトリのコードベースやコーディング規約をキャッシュし、PRごとのレビュー依頼で共通部分の再送を省略。 ・カスタマーサポート：FAQ・製品仕様書をキャッシュして、問い合わせのたびに巨大なコンテキストを再送しない構成に。 ・バッチ分析パイプライン：同じ参照データに対して大量の個別クエリを投げる処理で、キャッシュにより1件あたりのコストを圧縮。 💡 ユースケース 📚 長文ドキュメントに対する繰り返しの質問応答 🔍 共通のシステムプロンプトを使う大量リクエスト 🧑‍💻 コードベース全体を文脈に持つ開発支援ツール 📊 同一データセットへの複数観点での分析 ⚠️ 注意点 キャッシュには最低トークン数の要件があり、短いプロンプトではキャッシュ作成できません。また、キャッシュの保持にはストレージ料金がかかるため、利用頻度が低い場合はかえって割高になることも。TTLの設定と利用パターンを見極めて、コストメリットが出る場面に絞るのがポイントです。 ✨ 「同じものを何度も送る」コストは積み重なると大きな差になります。まずは一番長い共通コンテキストをキャッシュしてみてください。 #Gemini# #LLM#

# OpenAI Agent SDKの便利で実践的な使い方 🌍 MCP サーバーのツールを「全部見せる」のではなく、フィルタ・プロンプト・キャッシュで賢く制御しましょう。権限スコープの絞り込みから動的フィルタリングまで、安全で高速な MCP 活用パターンです。 ツールフィルタで権限を最小化し、プロンプトで動的指示を取得し、キャッシュでレイテンシを削減する -- MCP の運用を本格化する3つの機能です。 📌 タイトル：MCP -- Tool filtering / Prompts / Caching 🔗 URL： 🧩 概要 MCP サーバーが公開するツールをそのまますべてエージェントに渡すと、不要なツール呼び出しや権限超過のリスクがあります。`create_static_tool_filter` で許可するツールを静的に制限し、動的フィルタ関数で実行時の条件（ロール・テナント等）に応じてツールを出し分けできます。`get_prompt` で MCP サーバーから動的な指示を取得し、`cache_tools_list=True` でツール一覧のキャッシュによりレイテンシを改善、`invalidate_tools_cache()` で変更時にキャッシュをクリアします。 🛠 使い方 `agents.mcp` から `MCPServerStreamableHttp` と `create_static_tool_filter` をインポートします。`MCPServerStreamableHttp` の `tool_filter` に `create_static_tool_filter(allowed_tool_names=["read_file", "write_file"])` を渡すことで、エージェントが使えるツールを `read_file` と `write_file` のみに制限できます。 🏗 実践的な使い方 **create_static_tool_filter で権限スコープを絞り込む** エージェントの役割に応じて、使えるツールを最小限に制限するパターンです。 読み取り専用エージェント用には `create_static_tool_filter(allowed_tool_names=["read_file", "search_docs", "list_files"])` でフィルタを作成し、`MCPServerStreamableHttp` の `tool_filter` に渡します。フルアクセス用には `allowed_tool_names=["read_file", "write_file", "delete_file", "search_docs"]` と設定します。同じ MCP サーバーでもエージェントの役割に応じて異なるツールセットを公開できます。 **動的フィルタで danger_ ツールを非表示にする** ロールに応じて危険なツールを動的に非表示にするパターンです。 `agents.mcp` から `ToolFilterContext` をインポートし、`role_based_filter` 関数を定義します。` が `"CodeReviewer"` で `"danger_")` の場合に `False` を返してツールを非表示にし、それ以外は `True` を返します。この関数を `MCPServerStreamableHttp` の `tool_filter` に渡すことで、ロールに応じた動的なツールフィルタリングが実現できます。 **get_prompt で MCP サーバーから動的指示を取得** MCP サーバーが提供するプロンプトを取得して、エージェントの指示を動的に構成します。 `MCPServerStreamableHttp` を作成し、`async with mcp:` のコンテキスト内で `prompt_result = await mcp.get_prompt("operation_guidelines")` を呼び出して MCP サーバーからプロンプトを取得します（第2引数に `{"focus": "..."}` のような引数辞書も渡せます）。取得した `prompt_result.messages[0].content.text` を `Agent` の `instructions` に埋め込むことで、エージェントの指示を動的に構成できます。 **cache_tools_list でレイテンシを改善** ツール一覧の取得をキャッシュし、MCP サーバーへの不要なリクエストを減らします。 `MCPServerStreamableHttp` の `cache_tools_list=True` を設定すると、ツール一覧の取得結果がキャッシュされ、MCP サーバーへの不要なリクエストが削減されます。ツールが追加・変更された場合は `await mcp.invalidate_tools_cache()` でキャッシュをクリアします。 💡 ユースケース 🔒 create_static_tool_filter で read_file/write_file のみ許可し、最小権限の原則を実現 🎭 動的フィルタで CodeReviewer には danger_ ツールを非表示にし、ロール別のアクセス制御 📜 get_prompt で MCP サーバーから最新の運用ガイドラインを取得し、エージェントの指示を動的に更新 ⚡ cache_tools_list=True でツール一覧キャッシュを有効化し、繰り返しのツール取得レイテンシを削減 ⚠️ 注意点 - 静的フィルタの `allowed_tool_names` はツール名のタイプミスに注意してください。存在しないツール名を指定してもエラーにならず、単にフィルタされないだけです。 - 動的フィルタは毎回のツール一覧取得時に実行されるため、重い処理を入れるとレイテンシに影響します。 - `cache_tools_list=True` 使用時にツールが追加・変更された場合、`invalidate_tools_cache()` を呼ばないと古い一覧が使われ続けます。 ✨ フィルタ・プロンプト・キャッシュの3つを組み合わせれば、MCP ツールの安全性・柔軟性・パフォーマンスを同時に向上できます。まずは静的フィルタで権限を絞り、必要に応じて動的フィルタやキャッシュを導入していきましょう！ #OpenAIAgentSDK# #AIAgent#

# ADKの便利で実践的な使い方 ## 🏢 アプリケーション単位で状態を分離！ADKのApps機能 複数のエージェントワークフローを管理するとき、状態やアーティファクトが混ざってしまう…ADKの **Apps** を使えば、`app_name` によるネームスペースでState/Artifact/Memoryを完全に分離できます！🏗️ ## 📌 タイトル Apps（アプリケーション） ## 🔗 URL ## 🧩 概要 App クラスは、ADKエージェントワークフローのトップレベルコンテナです。ルートエージェントを中心に、ライフサイクル管理、共有リソースの一元設定、状態スコープの定義を担います。 主な役割： - **一元設定**：APIキーやDBクライアントなどの共有リソースを一箇所で管理 - **ライフサイクル管理**：スタートアップ/シャットダウンフック - **状態スコープ**：`app:*` プレフィックスで明示的なデータ境界 - **デプロイ単位**：バージョニングとテストの正式な単位 さらに、Context Caching、Context Compaction、Resumability、Pluginsの設定もAppレベルで行えます。 ## 🛠 使い方 `google.adk.agents.llm_agent` から `Agent`、`google.adk.apps` から `App`、`google.adk.runners` から `InMemoryRunner` をインポートします。`Agent` を `model='gemini-flash-latest'`、`name='assistant'`、`description='汎用アシスタント'` で作成します。次に `App` を `name="my_app"` で作成し、`root_agent` を渡します。オプションで `plugins`、`context_cache_config`、`events_compaction_config`、`resumability_config` も指定可能です。最後に `InMemoryRunner(app=app)` でランナーを作成し、`await "こんにちは！")` で実行します。 ## 🏗 実践的な使い方 **マルチテナントSaaSでのデータ分離：** `app_name` をテナントごとに変えることで、State/Artifact/Memoryの完全な分離を実現できます。 `create_tenant_app(tenant_id: str, root_agent: Agent) -> App` 関数を定義し、テナントごとに独立した `App` を作成します。`name=f"saas_{tenant_id}"` でテナント固有のネームスペースを設定し、`plugins` に全テナント共通の `SecurityGuardPlugin()` とテナント別の `TenantLoggingPlugin(tenant_id)` を渡します。テナントAでは `create_tenant_app("tenant_a", support_agent)` で App を作成し `InMemoryRunner` で実行すると、State は `"app:saas_tenant_a:*"` に保存されテナントBからは見えません。テナントBも同様に `"app:saas_tenant_b:*"` に保存され、テナントAからは見えません。 **環境別の設定分離：** 開発環境では `App` を `name="myservice_dev"` で作成し、`plugins` に `DebugLoggingPlugin()` を、`events_compaction_config` に `EventsCompactionConfig(compaction_interval=10, overlap_size=3)` を設定します。本番環境では `name="myservice_prod"` で作成し、`plugins` に `SecurityGuardPlugin()`、`BigQueryAnalyticsPlugin()`、`RateLimitPlugin()` を設定し、`events_compaction_config` は `EventsCompactionConfig(compaction_interval=5, overlap_size=2)` とより頻繁なコンパクションを行います。 ## 💡 ユースケース - 🏢 **マルチテナントSaaS**：テナントごとにAppを分離し、データの混在を完全防止 - 🔧 **環境分離**：dev/staging/prodで異なるプラグインと設定を適用 - 📦 **マイクロサービス**：サービスごとに独立したAppとしてデプロイ・バージョニング - 🧪 **A/Bテスト**：同じエージェントを異なるApp設定で実行し、効果を比較 - 🔄 **ライフサイクル管理**：DB接続プールやキャッシュの初期化/クリーンアップを一元管理 ## ⚠️ 注意点 - `app_name` はState/Artifact/Memoryのネームスペースに使われるため、一意で変更しないようにしてください - App名を変更すると、過去のStateやArtifactにアクセスできなくなります - 複数のAppが同じルートエージェントを共有する場合、エージェントのステートレス性を確保してください - PluginsはAppレベルで設定するため、テナント共通とテナント固有のプラグインを適切に分離しましょう ## ✨ まとめ Appクラスは、ADKエージェントのデプロイと運用における「境界」を明確にする仕組みです。マルチテナント分離、環境別設定、ライフサイクル管理…Appを適切に設計することで、スケーラブルで安全なエージェントアプリケーションを構築できます！ #ADK# #AIAgent#

長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#