AIのAPIコスト、ベースURLを1行変えるだけで最大60%削減できます。 タイトル: Cheaper Inference - Save up to 60% on AI models URL: OpenAI、Anthropic、Google、xAI、AWS BedrockなどのAPIを複数プロバイダーの割引価格で一元提供するAPIゲートウェイです。既存のOpenAI SDK互換のため、コードはそのままでエンドポイントを差し替えるだけで導入できます。 注目ポイント 💰 最大60%のコスト削減を価格上限保証付きで 複数プロバイダーのリアルタイム割引価格を集約し、常にプロバイダー直接価格を超えないキャップを設定しています。月額コミットメント不要で$5から利用でき、理論上リスクゼロで試せます。 🔌 既存コードの書き換えゼロ・URL1行変更だけ OpenAI SDK互換を維持しているため、ベースURLを ` に変えてAPIキーを差し替えるだけで完了です。テキスト・画像生成からビジョン入力、推論モデル、プロンプトキャッシング、ストリーミングまで対応しています。 🔒 エンタープライズ級のセキュリティ制御 モデルホワイトリスト・IPアドレスフィルタリング・日次クォータ・月次予算上限をAPIキー単位で設定可能です。ゼロデータ保持オプションとHistoryによる監査ログも備えており、コンプライアンス要件の厳しい環境でも使いやすい設計です。 コスト最適化とセキュリティを両立しながら既存アーキテクチャを変えずに済む点が実用的です。AI APIコストが事業変数として重くなる中、こうした調達レイヤーの選択肢は今後重要度が増しそうです。 #LLMコスト# #APIゲートウェイ#

⚙️ TL;DR: モデルを変えずに「エージェントを動かすソフトウェア」だけを自動で改良して、トークンコストを約半分に削減しました。 タイトル: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness URL: 📌 ポイント 🔍 約500の実行環境で150方向を探索し3,000回超の実行で効率化手法を発見 🧩 ファイル変更とテスト実行を1リクエストに統合する「Action Fusion」など4メカニズム 📉 EdgeBenchでトークン流量を49.0%、コストを33.2%削減（性能は93.7%維持） 🔄 追加学習なしでOpus 5に適用してもトークン44.7%・コスト33.5%削減を維持 💰 Terminal-Bench 4では解決タスク1件あたりのコストを11.6%削減 ⏱ Codex比で時間あたり8.75〜13.50ドルのコスト削減効果を推定 モデルではなくハーネス自体を自動探索で鍛えるという発想が、地味だけど実運用に直結する効率化だと思います。 #AIエージェント# #LLMコスト最適化#

💰 同じモデルなのに、包むソフトウェア（ハーネス）を変えるだけでコストが5倍変わる。でも成功率はほぼ同じ。そんな結果が出ました。 タイトル: HarnessTax: How Much Does the Harness Matter for Coding Agents? URL: UC BerkeleyとArenaが、Claude Code・Codex CLI・Piという3つのコーディングエージェント用ハーネスを、7モデル・21のモデル-ハーネスペアで比較しました。注目ポイントを3つ紹介します。 📊 成功率への影響は統計的にほぼゼロ モデル内でのハーネス比較42件のうち、統計的に有意だったのはわずか1件（偶然の水準は約2件）。多重比較補正後は有意な差は1件も残りませんでした。 💸 コストは同じ成功率で最大5倍差 GPT-5.6 Lunaでは、Claude Codeが1タスク0.15ドル・成功率55.6%、Piが0.03ドル・成功率53.3%と、成功率はほぼ同じでもコストは5倍違いました。 🪶 最小構成のオープンソースハーネスPiが十分強い 12件のモデル比較のうち9件で、ベンダー製ではないハーネスが最高の成功率を記録し、シンプルなハーネスでも十分戦えることが示されました。 派手な機能より、まずコストと信頼性を見るべきという実用的な結論だと思います。 #コーディングエージェント# #LLMコスト最適化#

# ADK 2.0の便利だけど知られていない機能 🌍 毎回同じシステムプロンプトやツール定義をLLMに送信するのは、コストもレイテンシも無駄だと感じませんか？ ADK 2.0のコンテキストキャッシュ（ContextCacheConfig）は、繰り返し送信されるコンテキストデータをキャッシュし、LLMの呼び出しコストとレイテンシを削減する機能です。Gemini 2.0以降、Python v1.15.0以降、Java v0.1.0以降で利用可能です。 📌 タイトル：コンテキストキャッシュ (ContextCacheConfig) 🔗 URL： 🧩 概要 ContextCacheConfigは、LLMに送信するコンテキスト（システムプロンプト、ツール定義、会話履歴の固定部分など）をキャッシュすることで、トークン消費を削減します。3つの主要パラメータがあります。min_tokensはキャッシュを有効にするための最小トークン数のしきい値（デフォルト0）、ttl_secondsはキャッシュの有効期限（デフォルト1800秒＝30分）、cache_intervalsはキャッシュの最大再利用回数（デフォルト10回）です。これらをAppオブジェクトに設定することで、自動的にキャッシュが適用されます。 🛠 使い方 ContextCacheConfigを作成し、Appに設定します。 ```python from import App from google.adk.context import ContextCacheConfig cache_config = ContextCacheConfig( min_tokens=1000, # 1000トークン以上でキャッシュ有効 ttl_seconds=3600, # 1時間キャッシュを保持 cache_intervals=20, # 最大20回再利用 ) app = App( agent=my_agent, context_cache_config=cache_config, ) ``` min_tokensを適切に設定することで、小さなコンテキストでは通常送信し、大きなコンテキストのみキャッシュするように制御できます。 🏗 本番システムへの組み込み方 ・大きなシステムプロンプトや多数のツール定義を持つエージェントで特にコスト効果が高い ・ttl_secondsをワークロードのパターンに合わせて調整する（短い会話→短いTTL、長い会話→長いTTL） ・cache_intervalsをリクエスト頻度に応じて設定し、キャッシュの鮮度とコスト削減のバランスを取る ・コスト削減効果をモニタリングし、パラメータを継続的に最適化する 💡 ユースケース 💰 大規模なシステムプロンプトを持つエージェントのAPI呼び出しコストを削減 ⚡ 繰り返しのツール定義送信を省略してレスポンスレイテンシを改善 🔁 高頻度のリクエストが発生するチャットボットでトークン消費を最適化 📋 固定的なコンテキスト（ルール、ガイドライン等）の再送信を効率化 ⚠️ 注意点 Gemini 2.0以降のモデルでのみ利用可能です。キャッシュが有効な間はコンテキストの変更が反映されないため、頻繁にシステムプロンプトを変更する場合はttl_secondsを短く設定してください。また、cache_intervalsを超えると新しいキャッシュが作成されるため、コスト最適化の効果が変動する可能性があります。 ✨ コンテキストキャッシュは、特にコンテキストが大きく頻繁にリクエストされるシナリオで、コストとパフォーマンスの両面で大きな改善をもたらします。 #ADK# #AIAgent#

# ADKの便利で実践的な使い方 🚀 ツールの並列実行、レスポンスサイズの最適化、レイテンシとトークンコストの削減 — ADKのTool Performanceガイドで、本番環境のスループットを最大化しましょう。 📌 タイトル：Tool Performance — ツール実行の最適化手法 🔗 URL： 🧩 概要 ADKではツールのパフォーマンスを最適化するための複数のアプローチが提供されています。読み取り専用ツールの並列実行、レスポンスサイズの削減によるトークンコスト最適化、そしてレイテンシ削減のためのベストプラクティスがあります。本番環境で高いスループットを実現するためには、これらの最適化が不可欠です。 🛠 使い方 並列実行とレスポンス最適化の例です。 まず、読み取り専用のツールを複数定義します。`get_user_profile(user_id: str)`、`get_user_orders(user_id: str)`、`get_user_preferences(user_id: str)` のように副作用のない関数を用意すると、ADKはこれらを並列に実行できます。次に、レスポンスサイズを削減するツール設計として `search_products(query: str, limit: int = 5)` を定義し、戻り値では `id`、`name`、`price` など必要なフィールドのみを返し、画像URLや説明文全文、メタデータ等は省略します。最後に `Agent` を `name="customer_service"`、`model="gemini-2.5-flash"` で作成し、`tools` リストにこれら4つの関数を渡します。 🏗 実践的な使い方 **並列実行の判断基準**: 副作用がなく、互いに依存しないツールは並列実行が安全です。LLMは複数のツールを同時に呼び出すことができ、ADKがそれらを並列に実行します。データの取得系ツール（GET相当）は並列実行の良い候補です。 並列実行に適した設計として、互いに独立した `get_weather(city: str)`、`get_news(topic: str)`、`get_stock_price(symbol: str)` のようなツールを定義します。各ツールはそれぞれ天気情報、ニュース記事、株価をdictで返すだけの読み取り専用関数です。LLMがこれら3つを同時に呼び出すと、ADKが自動的に並列で実行します。 **レスポンスサイズの最適化**: ツールの戻り値はLLMのコンテキストウィンドウを消費します。不要なフィールドの除外、データの要約、ページネーションの実装でトークンコストを大幅に削減できます。 **レイテンシ最適化のチェックリスト**: 1. キャッシュ可能な結果はキャッシュする 2. 外部API呼び出しにタイムアウトを設定する 3. 不要に大きなデータを返さない 4. 複数の小さなツールに分割して並列実行を促す 💡 ユースケース 📊 ダッシュボード用の複数データソース並列取得 🔍 検索結果のフィールド絞り込みによるトークン節約 ⚡ マイクロサービス間の並列API呼び出し 💰 大量リクエスト環境でのトークンコスト最適化 ⚠️ 注意点 - 副作用のあるツール（書き込み・削除）を並列実行すると、競合状態が発生する可能性があります。書き込み系ツールは逐次実行を推奨します。 - レスポンスを削減しすぎると、LLMが十分な情報を得られず、ユーザーへの回答品質が低下する場合があります。必要な情報は確実に含めてください。 - ツールのタイムアウトが短すぎると、正常なレスポンスも中断される可能性があります。適切なタイムアウト値を設定しましょう。 ✨ 小さな最適化の積み重ねが、本番環境での大きなパフォーマンス差を生みます。まずはレスポンスサイズの見直しから始めてみましょう！ #ADK# #AIAgent#

# ADKの便利で実践的な使い方 同じシステムプロンプトやツール定義を何度も送信していませんか？Context Cachingで繰り返しのトークンコストを大幅に削減しましょう💰 📌 **タイトル**: Context Caching 🔗 **URL**: ## 🧩 概要 Context Cachingは、LLMに送信するコンテキスト（システムインストラクションやツール定義など）の静的な部分をキャッシュし、繰り返しのトークンコストを削減する機能です。 `ContextCacheConfig` を設定することで、毎回のリクエストで同じプレフィックストークンを再送信する代わりに、キャッシュされたコンテキストを参照するようになります。 特にマルチユーザー環境で同じエージェント（同じプロンプト・ツール定義）を多くのユーザーが利用する場合、コスト最適化の効果が顕著です。 ## 🛠 使い方 `google.adk` から `Agent` を、`google.adk.agents` から `ContextCacheConfig` をインポートします。`ContextCacheConfig(max_entries=100, ttl_seconds=3600)` でキャッシュエントリの上限と有効期間（秒）を設定します。この `cache_config` を `Agent` の `context_cache_config` パラメータに渡すことで、`instruction` に記述した長いシステムプロンプトや `tools` に指定したツール定義（`search_kb`、`create_ticket`、`escalate` など）の静的部分がキャッシュされ、繰り返しのトークンコストが削減されます。 ## 🏗 実践的な使い方 **大規模カスタマーサポートの最適化:** カスタマーサポートエージェントでは、以下の要素が全ユーザーで共通です。 - システムインストラクション（対応ガイドライン、トーン、禁止事項） - ツール定義（ナレッジベース検索、チケット作成、エスカレーション） - Few-shotの例示 これらの静的なコンテキストは毎リクエストで数千トークンになることがあります。1日1万リクエストのサポートボットなら、Context Cachingにより膨大なトークン削減が見込めます。 **RAGパイプラインでの活用:** ツール定義にナレッジベースのスキーマや検索パラメータの説明が含まれる場合、これらをキャッシュすることで各クエリのコストを最適化できます。 **マルチテナントSaaS:** 同一のエージェント定義を複数テナントで共有する場合、テナント固有の情報のみが動的部分となり、共通のプロンプトとツール定義はキャッシュで共有されます。 ## 💡 ユースケース - 💰 コスト削減: 長いシステムプロンプトの繰り返し送信コストを削減 - 🚀 レイテンシ改善: キャッシュヒット時のプリフィル処理が高速化 - 👥 マルチユーザー最適化: 同じプロンプトを使う複数ユーザーでキャッシュを共有 - 🏢 マルチテナント: テナント共通部分のコンテキストを効率的にキャッシュ - 📚 大規模ツール定義: 多数のツールを持つエージェントのツール定義コストを最適化 ## ⚠️ 注意点 - Context Cachingはモデルプロバイダーのサポートに依存します。利用可能なモデルを事前に確認してください - キャッシュのTTL（有効期限）が短すぎるとヒット率が下がり、長すぎるとメモリを消費します。アクセスパターンに応じて調整してください - システムプロンプトやツール定義を頻繁に変更する場合、キャッシュの恩恵は限定的です - キャッシュのコスト自体も発生する場合があります。プロバイダーの料金体系を確認し、トータルコストで判断してください - 動的なコンテキスト（ユーザー固有の情報など）はキャッシュ対象外です。静的部分と動的部分を明確に分離して設計しましょう ✨ Context Cachingは「同じことを何度も言わない」をインフラレベルで実現します。マルチユーザー環境でのコスト最適化に大きな効果を発揮します！ #ADK# #AIAgent#

便利だけど知られていないOpenAI APIの機能 💰 「急ぎじゃないけど大量に回したい」、そんなLLMジョブに毎回フルプライスを払っていませんか？ OpenAIの「Flex processing（フレックス処理）」は、非同期・低優先度のリクエストを割引価格で処理できるティアです。急がないタスクのコストを大幅に下げられる、地味だけど効く選択肢です。 📌 タイトル：Flex processing（フレックス処理） 🔗 URL： 🧩 概要 LLMの利用が増えると、コストが一気に膨らみます。でも実際には「今すぐ結果が欲しい」リクエストと「明日までに終わればいい」リクエストが混在しているはず。Flex processingは後者を低優先度キューに回すことで、通常より安い料金で処理してくれる仕組みです。レイテンシの保証はないけれど、その分コストを抑えられます。 🛠 使い方 リクエスト時に処理ティアをflexに指定するだけ。既存のプロンプトやモデル設定はそのまま使えます。レスポンスは非同期的に返ってくるので、結果をポーリングで取得するか、Webhooksと組み合わせて通知を受け取る形になります。 🏗 本番システムへの組み込み方 ・夜間バッチ評価パイプライン：日中に溜まったデータの分類・スコアリングを夜間にflexで一括処理。翌朝には結果が揃っている運用に。 ・大量データのラベリング・アノテーション：数万件のテキスト分類を低コストで回す。急がないならflexで十分。 ・定期レポート生成：週次・月次のサマリー生成など、締め切りに余裕があるジョブに。 ・開発環境での実験・プロトタイプ：本番品質のモデルを安く試せるので、プロンプト開発の反復コストを下げられる。 💡 ユースケース 🗂 大量テキストの分類・タグ付け 📊 定期的な分析レポートの自動生成 🧪 プロンプトの A/B テスト・評価 🏷 学習データのアノテーション ⚠️ 注意点 レイテンシの保証がないため、ユーザーがリアルタイムで待っているようなインタラクティブ用途には向きません。「急がない大量処理」に絞って使うのがポイントです。また、処理完了のタイミングが読みにくいので、後続処理がある場合はWebhooksやポーリングの設計をしっかり組んでおきましょう。 ✨ コスト最適化の第一歩は「急ぎと急がないを分ける」こと。Flex processingで、まずは夜間バッチから試してみてください。 #OpenAI# #LLM#

便利だけど知られていないOpenAI APIの機能 🔄 「OpenAIと他のモデル、どっちが良いの？」を公平に比較したいと思いませんか？ OpenAIの「External models（外部モデル評価）」は、OpenAI以外のモデルもEvals基盤で評価できる機能です。複数モデルを同じ基準で比較したいときに便利です。 📌 タイトル：External models（外部モデル評価） 🔗 URL： 🧩 概要 モデルの選定や切り替えの判断には、同じ評価基準での公平な比較が必要です。External modelsを使えば、OpenAIのモデルだけでなくClaude、Gemini、オープンソースモデルなど外部のモデルもOpenAIのEvals基盤上で同じグレーダー・同じデータセットで評価できます。ベンダーごとに評価ツールを分ける手間がなくなります。 🛠 使い方 外部モデルの接続情報（APIエンドポイントや認証情報）をEvalsに登録し、評価対象として指定します。あとは通常のEvalsと同様に、データセットとグレーダーを使ってテストを実行するだけ。結果は同じダッシュボードで横並びに比較できます。 🏗 本番システムへの組み込み方 ・モデル選定プロセス：新しいモデルが出たときに、既存モデルと同じベンチマークで比較評価。 ・モデル移行の判断：別モデルに切り替える前に、自社タスクでの品質を定量比較。 ・コスト最適化：同等品質の安いモデルがないか、Evalsで定期的にスキャン。 ・マルチモデル戦略：タスクごとに最適なモデルを選ぶための評価フレームワークとして。 💡 ユースケース 🏆 複数モデルのベンチマーク比較 🔀 モデル移行前の品質検証 💰 コスト対品質の最適化 📋 タスク別の最適モデル選定 ⚠️ 注意点 外部モデルのAPIキーや利用料金は別途かかります。また、モデルによってはレスポンス形式やエラーハンドリングが異なるため、評価時に出力の正規化が必要になることもあります。比較は「同じタスク・同じデータ」で行うことが大前提です。 ✨ モデル選定を「なんとなく」から「データドリブン」に。まずは今使っているモデルと気になるモデルをEvalsで並べて比べてみてください。 #OpenAI# #LLM#

【AIエンジニアリング実践｜カリキュラム刷新＆受講生募集開始】 AIコーディングを前提とした開発を出発点に、要件定義からデータ・ログ設計、プロトタイプ構築、デプロイ、評価、改善、エージェント化までを扱う「AIエンジニアリング実践」。全7回だったカリキュラムを一から再設計し、全13回へと刷新しました。 全回演習・ハンズオン形式で、1つのAIアプリケーションをRAGによるプロトタイプ構築からクラウドへのデプロイ、LLM-as-a-Judgeによる評価設計、MLOpsによる継続的改善まで一気通貫で実装します。 ▼今期の新規拡充テーマ ・評価の深掘り（評価指標・LLM-as-a-Judge・回帰テスト） ・レイテンシとコストの最適化 ・セキュリティとプライバシー（ガバナンス・リスク・コンプライアンス） ・AIエージェントとワークフロー設計 ▼講座情報 ・全13回｜毎週月曜 19:00〜20:45（第11回のみ火曜） ・完全オンライン（Zoom）・受講料無料 ・対象：学生（大学院生〜中学生）※学位取得可能な学校法人に在籍中、または入学予定であることの証明が必要 ・開講：10/19(月) ▼スケジュール ・ID登録締切：10/3(土) 10:00 ・申込締切：10/5(月) 10:00 ・選考結果：10/13(火)19:00までに全応募者へご連絡 ▼お申し込み

便利だけど知られていないGemini APIの機能 📎 ファイルの渡し方、インラインとFiles API、どっちを使えばいいの？ Geminiの「ファイル入力方法（File input methods）」は、ファイルをモデルに渡す2つの方法の使い分けを整理した機能ガイドです。サイズや再利用パターンに応じた最適な選択ができます。 📌 タイトル：ファイル入力方法（File input methods） 🔗 URL： 🧩 概要 Geminiにファイルを渡す方法は主に2つ。リクエストにBase64で直接埋め込む「インラインデータ」と、事前にアップロードして参照IDで使う「Files API」です。それぞれにサイズ制限、再利用性、レイテンシ特性が異なり、適切に使い分けることでパフォーマンスとコストを最適化できます。 🛠 使い方 小さなファイル（数MB以下）はインラインデータとしてリクエストに直接含めるのが手軽。大きなファイルや繰り返し使うファイルはFiles APIでアップロードし、ファイルURIで参照。Files APIは一度アップロードすれば複数リクエストで再利用でき、毎回の転送を省けます。 🏗 本番システムへの組み込み方 ・チャットbotの画像入力：ユーザーが1回だけ送る小さな画像はインラインで。セッション内で何度も参照する資料はFiles APIで先にアップ。 ・バッチ処理：同じファイルに対して複数の分析を行う場合、Files APIで一度アップして参照IDを使い回すことで転送コストを削減。 ・ドキュメント分析パイプライン：大きなPDFはFiles APIでアップロード必須。小さな設定ファイルや短いテキストはインラインで。 ・モバイルアプリ：帯域が限られる環境では、Files APIで事前アップロードしておき、リクエストを軽量に保つ。 💡 ユースケース 📱 小さなファイルの手軽なインライン添付 📂 大きなファイルのFiles APIアップロード 🔄 同一ファイルの複数リクエストでの再利用 ⚡ 転送量の最適化によるレイテンシ改善 ⚠️ 注意点 インラインデータにはサイズ制限があり、大きなファイルはエラーになります。Files APIのファイルには有効期限があるため、長期保存が必要な場合は自前のストレージとの併用が必要です。また、Files APIのアップロードにはレート制限があるため、大量ファイルを短時間にアップする場合は注意しましょう。 ✨ 「とりあえず全部インラインで」は小規模なら問題ありませんが、規模が大きくなると差が出ます。ファイルの特性に合わせた使い分けで、効率的な入力設計を。 #Gemini# #LLM#