注册并分享邀请链接,可获得视频播放与邀请奖励。

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
加入 May 2026
287 正在关注    475 粉丝
# ADKの便利で実践的な使い方 📐 組み込みの評価基準だけでは、ビジネス固有の品質要件を測れないことがあります。ADKのCustom Metrics機能を使えば、「レスポンスに免責事項が含まれているか」「指定フォーマットに準拠しているか」といったドメイン固有の評価基準を定義し、自動評価できます。 📌 タイトル:Custom Metrics 🔗 URL: 🧩 概要 ADKのCustom Metricsは、Python関数として独自の評価基準を定義できる機能です(v1.18.0以降)。関数は`eval_metric`、`actual_invocations`、`expected_invocations`、`conversation_scenario`を受け取り、`EvaluationResult`を返します。組み込み基準(`tool_trajectory_avg_score`等)と併用でき、非同期関数もサポートされています。JSON設定ファイルでしきい値とPythonモジュールパスを指定するだけで、既存の評価パイプラインに統合できます。 🛠 使い方 カスタムメトリクスの関数シグネチャです。 カスタムメトリクス関数は `google.adk.evaluation.eval_metrics` から `EvalMetric`、`EvalStatus` を、`google.adk.evaluation.evaluator` から `EvaluationResult`、`PerInvocationResult` を、`google.adk.evaluation.eval_case` から `Invocation` を、`google.adk.evaluation.conversation_scenarios` から `ConversationScenario` をインポートして定義します。関数は `eval_metric: EvalMetric`、`actual_invocations: list[Invocation]`、`expected_invocations: Optional[list[Invocation]]`、`conversation_scenario: Optional[ConversationScenario]` の4つの引数を受け取り、`EvaluationResult` を返します。例えば `check_final_response_exact_match` 関数では、各呼び出しの ` と ` からテキストを結合して比較し、一致すればスコア `1.0`、不一致なら `0.0` を付けます。各結果を `PerInvocationResult` に格納し、`statistics.mean()` で平均スコアを算出、`eval_metric.criterion.threshold` と比較して `EvalStatus.PASSED` または `EvalStatus.FAILED` を判定し、最終的に `EvaluationResult(overall_score=..., overall_eval_status=..., per_invocation_results=...)` を返します。 非同期メトリクスも定義可能です。 非同期メトリクスも同じシグネチャで `async def` として定義できます。例えば `check_for_profanity` 関数では、各 `invocation` の `final_response.parts` からレスポンステキストを取得し、`await profanity_checker.check(agent_response)` で外部の不適切語検出サービスを呼び出します。不適切語が検出された場合はスコア `0.0` と `EvalStatus.FAILED`、検出されなければ `1.0` と `EvalStatus.PASSED` を設定します。`EvalStatus.NOT_EVALUATED` の結果を除外して平均スコアを算出し、しきい値と比較して最終的な `EvaluationResult` を返します。 JSON設定ファイルで登録します。 ```json { "criteria": { "my_check_final_response_exact_match": { "threshold": 0.8 }, "tool_trajectory_avg_score": { "threshold": 1.0 } }, "custom_metrics": { "my_check_final_response_exact_match": { "code_config": { "name": "my_agent.metrics.check_final_response_exact_match" } } } } ``` 🏗 実践的な使い方 **「レスポンスに免責事項が含まれているか」チェック**: 金融・医療ドメインでは、レスポンスに免責事項や注意書きが必須です。カスタムメトリクスで最終レスポンスに特定のフレーズ(「投資判断は自己責任で」など)が含まれているかを検証し、コンプライアンス要件を自動チェックできます。 **「指定フォーマットに準拠しているか」検証**: 構造化されたレスポンスが必要な場合、JSON形式、必須フィールドの存在、特定のセクション構成などをカスタムメトリクスで検証します。出力フォーマットの一貫性を自動的に保証できます。 **外部サービスとの連携による検証**: 非同期メトリクスを使えば、外部の不適切語検出API、ファクトチェックサービス、社内コンプライアンスチェックツールなどと連携した評価が可能です。 **組み込み基準との併用**: `criteria`セクションで組み込み基準(`tool_trajectory_avg_score`)とカスタムメトリクスを同時に定義し、ツール選択の正確性とビジネスルール準拠を一度の評価で検証できます。 💡 ユースケース 📋 金融・医療エージェントの免責事項自動チェック 📄 出力フォーマット(JSON構造、必須フィールド)の準拠性検証 🚫 不適切語・禁止表現の自動検出 🏢 社内コンプライアンスルールへの適合性評価 ⚠️ 注意点 - `criteria`のメトリクス名と`custom_metrics`のキーは完全一致させる必要があります。 - コードパスはPythonのドット区切り記法(`package.module.function`)で指定します。インポート可能なパスであることを確認してください。 - `metric_info`を省略した場合、ADKは0.0〜1.0の範囲を前提とします。異なる範囲のスコアを返す場合は`metric_info`で明示的に指定してください。 - カスタムメトリクスの実行でエラーが発生すると評価全体が失敗するため、例外処理を適切に実装してください。 ✨ Custom Metricsは、ビジネス要件をコードで表現し、評価パイプラインに組み込む強力な仕組みです。組み込み基準ではカバーできないドメイン固有の品質要件を自動化し、一貫した品質管理を実現しましょう! #ADK# #AIAgent#
显示更多