登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
参加 May 2026
286 フォロー中    474 ファン
# ADKの便利で実践的な使い方 🔄 エージェントの評価結果を見て、プロンプトを手動で改善するのは非効率です。ADKのOptimization機能は、評価結果に基づいてプロンプトやエージェントの指示を自動・半自動で最適化する仕組みを提供します。評価→最適化→再評価の継続改善ループを回せます。 📌 タイトル:Optimization 🔗 URL: 🧩 概要 ADKのOptimization Frameworkは、Sampler(候補エージェントを評価し詳細な結果を返す)とAgent Optimizer(評価結果を分析してエージェントを改善する)のアーキテクチャで構成されます。**GEPARootAgentPromptOptimizer**はGEPAアルゴリズムで根本エージェントの指示を最適化し、**SimplePromptOptimizer**は実行→評価→批評→書き換えの4ステージを逐次実行します。最適化は非破壊的で、元のエージェントを保持したまま改善バリエーションを生成します。 🛠 使い方 CLIでの最適化実行: ```bash adk optimize \ --sampler_config_file_path \ --optimizer_config_file_path \ --print_detailed_results ``` プログラマティックな最適化: `google.adk.optimization.gepa_root_agent_prompt_optimizer` から `GEPARootAgentPromptOptimizer` と `GEPARootAgentPromptOptimizerConfig` を、`google.adk.optimization.local_eval_sampler` から `LocalEvalSampler` と `LocalEvalSamplerConfig` をインポートします。`LocalEvalSamplerConfig` で `eval_config=EvalConfig(criteria={"response_match_score": 0.75})`、`app_name`、`train_eval_set` を設定し、`LocalEvalSampler` を作成します。次に `GEPARootAgentPromptOptimizer(config=GEPARootAgentPromptOptimizerConfig())` でオプティマイザーを作成し、` sampler))` で最適化を実行します。 GEPARootAgentPromptOptimizerの設定パラメータ: - `optimizer_model`: 最適化に使用するモデル(デフォルト: `gemini-2.5-flash`) - `max_metric_calls`: 最大評価回数(デフォルト: 100) - `reflection_minibatch_size`: 1イテレーションで処理する例の数(デフォルト: 3) - `run_dir`: 中間結果の保存先(ウォームスタート用) SimplePromptOptimizerは4つのステージを逐次実行します。 1. **Execute**: エージェントが評価タスクを処理 2. **Evaluate**: Samplerがスコアリング 3. **Critique**: 最適化LLMが弱点を分析 4. **Rewrite**: ギャップを埋める新しいプロンプトを生成 LocalEvalSamplerの設定では、検証用データセットを分離できます。 - `train_eval_set`: 最適化に使用するデータセット - `validation_eval_set`: 検証用の別データセット - `train_eval_case_ids`: 特定のケースのみ使用する場合 🏗 実践的な使い方 **評価→最適化→再評価の継続改善ループ**: まず`adk eval`で現状のエージェント品質を定量化し、次に`adk optimize`で自動改善を実行、最後に改善後のエージェントを再評価して改善効果を確認します。このサイクルを回すことで、プロンプトの品質が着実に向上します。 **トレーニングと検証の分離**: `train_eval_set`で最適化を行い、`validation_eval_set`で検証することで、過学習を防ぎます。最適化がトレーニングデータに特化しすぎず、未知のシナリオにも対応できるプロンプトが得られます。 **ウォームスタートによる効率的な最適化**: `run_dir`に中間結果を保存しておくことで、最適化が中断しても途中から再開できます。また、前回の最適化結果をベースに追加の改善を行うことも可能です。 **SimplePromptOptimizerでの段階的改善**: GEPAオプティマイザーほど自動化されていませんが、Execute→Evaluate→Critique→Rewriteの各ステージの結果を確認しながら、半自動的にプロンプトを改善できます。LLMが弱点を分析して改善提案をしてくれるため、人間のプロンプトエンジニアリングの負担が軽減されます。 💡 ユースケース 🔄 プロンプト品質の継続的改善サイクルの自動化 📊 評価スコアに基づくデータドリブンなプロンプト改善 🎯 過学習を防ぐトレーニング/検証データセットの分離 ⚡ 中断可能・再開可能なウォームスタート最適化 ⚠️ 注意点 - 最適化は非破壊的ですが、生成されたプロンプトバリエーションの品質は評価データセットの質に依存します。代表的なケースを含むデータセットを用意してください。 - `max_metric_calls`が大きいほど探索範囲が広がりますが、LLM呼び出しコストも増加します。初期値100から調整してください。 - 最適化結果は自動的にデプロイされません。生成されたプロンプトを人間が確認してから適用してください。 - GEPARootAgentPromptOptimizerはルートエージェントの指示のみを最適化します。サブエージェントやツール定義の最適化には別のアプローチが必要です。 ✨ ADKのOptimization Frameworkは、プロンプト改善を「職人技」から「データドリブンなプロセス」に変革します。評価→最適化→再評価のループを回して、エージェントの品質を継続的に向上させましょう! #ADK# #AIAgent#
もっと見る