AIエージェントのテストは、普通のソフトウェアテストとは勝手が違います。同じ入力でも毎回出力が変わり、正解が1つではなく、正しい結果でも手順が「不適切」なこともあるからです。 タイトル: The Most Common Questions About Agent Evals, Answered URL: ❓ 何から始めればいいの? 💡 まず評価したい挙動を1つに絞り(例: 旅行アシスタントが指定の日付・価格帯で予約するか)、実行ログから10〜20件ほどの小さなデータセットを作ります。現在のバージョンでベースラインを取り、本番や開発中に見つかった失敗例を継続的に追加していく段階的なアプローチが推奨されています。 ❓ オフライン評価とオンライン評価はどう違うの? 💡 オフライン評価は出荷前にデータセットに対して実行し、参照出力と比較できるため新しいプロンプトやモデルの検証に向いています。オンライン評価は本番のトレースをリアルタイムで評価するもので、参照出力がない代わりにコードチェックやLLM judgeを使い、予期しない問題の発見に向いています。 ❓ LLM judgeはどうすれば信頼できるの? 💡 人間のスコアと小サンプルで照合し、「すべての乗り継ぎに言及したか」のような狭い質問にすること、そして1〜10のスケールではなく合格/不合格のような二値や少数カテゴリで採点することが推奨されています。安価なjudgeモデルを使えば、Claude Sonnetで28.17ドルかかった評価が0.34ドルまで下がった例も紹介されています。 ❓ マルチターンの対話はどう評価するの? 💡 各ターン単体では妥当に見えても、会話全体では問題が顕在化することがあります。スレッドIDでターンをまとめ、全メッセージとツール呼び出しを順序通り表示した上で、「最終的な予約はユーザーの全変更を反映しているか」のように会話全体を通した質問で評価します。 #AIエージェント# #評価手法#