社内のSQL分析エージェント、「構文は正しいのに0行が返っている」という失敗を見逃していませんか?
Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents
Amazonが、トレースベースのLLMジャッジ(Strands Evals)、テキストのみのLLMジャッジ(PromptFoo)、決定論的チェック(Agenta)を、小売サプライチェーン予測エージェント2種で比較しました。約11,700回の評価です。
注目ポイント
🔍 見える情報が検出力を決める
72ケースの既知失敗の検出で、実行トレース全体を見るStrandsはF1 0.896、誤検知率10.3%でした。テキストのみのPromptFooは再現率こそ87.9%でも誤検知率が48.7%に跳ね上がります。ツール正確性の検出は89%対11%でした。
🧪 未知の失敗はテストの種類で別物
自動生成テストで見つかった新規の失敗24件のうち、機能テストとセキュリティテストの重複はゼロでした。Strandsは負インデックスのSUBSTRバグなどを、PromptFooはスキーマ漏洩やシステムプロンプト開示を見つけています。
🎲 LLMジャッジは揺れる
36構成中35は安定でしたが、判定の一貫性は82〜92%でした。Qwen3のある構成は一貫性20%まで落ちています。個別ケースでのCI/CDゲートに使うにはまだ早そうです。
結論は、機能評価はトレース付きジャッジ、セキュリティはレッドチーミングという二本立てです。
#
AIエージェント# #
LLM評価#