# ADKの便利で実践的な使い方
📐 組み込みの評価基準だけでは、ビジネス固有の品質要件を測れないことがあります。ADKのCustom Metrics機能を使えば、「レスポンスに免責事項が含まれているか」「指定フォーマットに準拠しているか」といったドメイン固有の評価基準を定義し、自動評価できます。
📌 タイトル:Custom Metrics
🔗 URL:
🧩 概要
ADKのCustom Metricsは、Python関数として独自の評価基準を定義できる機能です(v1.18.0以降)。関数は`eval_metric`、`actual_invocations`、`expected_invocations`、`conversation_scenario`を受け取り、`EvaluationResult`を返します。組み込み基準(`tool_trajectory_avg_score`等)と併用でき、非同期関数もサポートされています。JSON設定ファイルでしきい値とPythonモジュールパスを指定するだけで、既存の評価パイプラインに統合できます。
🛠 使い方
カスタムメトリクスの関数シグネチャです。
カスタムメトリクス関数は `google.adk.evaluation.eval_metrics` から `EvalMetric`、`EvalStatus` を、`google.adk.evaluation.evaluator` から `EvaluationResult`、`PerInvocationResult` を、`google.adk.evaluation.eval_case` から `Invocation` を、`google.adk.evaluation.conversation_scenarios` から `ConversationScenario` をインポートして定義します。関数は `eval_metric: EvalMetric`、`actual_invocations: list[Invocation]`、`expected_invocations: Optional[list[Invocation]]`、`conversation_scenario: Optional[ConversationScenario]` の4つの引数を受け取り、`EvaluationResult` を返します。例えば `check_final_response_exact_match` 関数では、各呼び出しの ` と ` からテキストを結合して比較し、一致すればスコア `1.0`、不一致なら `0.0` を付けます。各結果を `PerInvocationResult` に格納し、`statistics.mean()` で平均スコアを算出、`eval_metric.criterion.threshold` と比較して `EvalStatus.PASSED` または `EvalStatus.FAILED` を判定し、最終的に `EvaluationResult(overall_score=..., overall_eval_status=..., per_invocation_results=...)` を返します。
非同期メトリクスも定義可能です。
非同期メトリクスも同じシグネチャで `async def` として定義できます。例えば `check_for_profanity` 関数では、各 `invocation` の `final_response.parts` からレスポンステキストを取得し、`await profanity_checker.check(agent_response)` で外部の不適切語検出サービスを呼び出します。不適切語が検出された場合はスコア `0.0` と `EvalStatus.FAILED`、検出されなければ `1.0` と `EvalStatus.PASSED` を設定します。`EvalStatus.NOT_EVALUATED` の結果を除外して平均スコアを算出し、しきい値と比較して最終的な `EvaluationResult` を返します。
JSON設定ファイルで登録します。
```json
{
"criteria": {
"my_check_final_response_exact_match": {
"threshold": 0.8
},
"tool_trajectory_avg_score": {
"threshold": 1.0
}
},
"custom_metrics": {
"my_check_final_response_exact_match": {
"code_config": {
"name": "my_agent.metrics.check_final_response_exact_match"
}
}
}
}
```
🏗 実践的な使い方
**「レスポンスに免責事項が含まれているか」チェック**: 金融・医療ドメインでは、レスポンスに免責事項や注意書きが必須です。カスタムメトリクスで最終レスポンスに特定のフレーズ(「投資判断は自己責任で」など)が含まれているかを検証し、コンプライアンス要件を自動チェックできます。
**「指定フォーマットに準拠しているか」検証**: 構造化されたレスポンスが必要な場合、JSON形式、必須フィールドの存在、特定のセクション構成などをカスタムメトリクスで検証します。出力フォーマットの一貫性を自動的に保証できます。
**外部サービスとの連携による検証**: 非同期メトリクスを使えば、外部の不適切語検出API、ファクトチェックサービス、社内コンプライアンスチェックツールなどと連携した評価が可能です。
**組み込み基準との併用**: `criteria`セクションで組み込み基準(`tool_trajectory_avg_score`)とカスタムメトリクスを同時に定義し、ツール選択の正確性とビジネスルール準拠を一度の評価で検証できます。
💡 ユースケース
📋 金融・医療エージェントの免責事項自動チェック
📄 出力フォーマット(JSON構造、必須フィールド)の準拠性検証
🚫 不適切語・禁止表現の自動検出
🏢 社内コンプライアンスルールへの適合性評価
⚠️ 注意点
- `criteria`のメトリクス名と`custom_metrics`のキーは完全一致させる必要があります。
- コードパスはPythonのドット区切り記法(`package.module.function`)で指定します。インポート可能なパスであることを確認してください。
- `metric_info`を省略した場合、ADKは0.0〜1.0の範囲を前提とします。異なる範囲のスコアを返す場合は`metric_info`で明示的に指定してください。
- カスタムメトリクスの実行でエラーが発生すると評価全体が失敗するため、例外処理を適切に実装してください。
✨ Custom Metricsは、ビジネス要件をコードで表現し、評価パイプラインに組み込む強力な仕組みです。組み込み基準ではカバーできないドメイン固有の品質要件を自動化し、一貫した品質管理を実現しましょう!
#
ADK# #
AIAgent#