VPNの使い方を聞いただけなのに、エージェントがITチケットを切り始めた。そんな経験は、エージェント開発では珍しくありません。 チケット作成ツールを足した社内ドキュメントエージェントは、チケットの例はすべて通り、平均スコアも上がりました。ところが例ごとに比較すると、「VPNにはどう接続しますか？」が検索ではなくチケット作成になっていたのです。 トレースを見ると、ツール説明の「VPNとノートPCの問題」という書き方が、VPN関連の質問すべてに当てはまっていました。説明を「ITの対応が必要な依頼」に絞ると、全例が通りました。平均だけを見ていたら見逃していた退行です。 この流れを支えるのがEval-Driven Developmentです。テスト駆動開発のように、先に「良い状態」を仕様とevalで定義し、修正前のエージェントで失敗することを確かめ、変更のたびに実験を例ごとに比べます。保留セットで過学習を見張り、本番のトレースからevalを育てていく考え方です。 What Is Eval-Driven Development? How to Improve AI Agents #AIAgents# #LLMEvals#