cv usk
@cv_usk
AI / Software Research Notes
AI Agent, LLMOps, MLOps, Software Architecture
投稿は個人の意見です。
Joined May 2026
286 Following 470 Followers
VPNの使い方を聞いただけなのに、エージェントがITチケットを切り始めた。そんな経験は、エージェント開発では珍しくありません。
チケット作成ツールを足した社内ドキュメントエージェントは、チケットの例はすべて通り、平均スコアも上がりました。ところが例ごとに比較すると、「VPNにはどう接続しますか？」が検索ではなくチケット作成になっていたのです。
トレースを見ると、ツール説明の「VPNとノートPCの問題」という書き方が、VPN関連の質問すべてに当てはまっていました。説明を「ITの対応が必要な依頼」に絞ると、全例が通りました。平均だけを見ていたら見逃していた退行です。
この流れを支えるのがEval-Driven Developmentです。テスト駆動開発のように、先に「良い状態」を仕様とevalで定義し、修正前のエージェントで失敗することを確かめ、変更のたびに実験を例ごとに比べます。保留セットで過学習を見張り、本番のトレースからevalを育てていく考え方です。
What Is Eval-Driven Development? How to Improve AI Agents
#AIAgents# #LLMEvals#
Show more
