VPNの使い方を聞いただけなのに、エージェントがITチケットを切り始めた。そんな経験は、エージェント開発では珍しくありません。 チケット作成ツールを足した社内ドキュメントエージェントは、チケットの例はすべて通り、平均スコアも上がりました。ところが例ごとに比較すると、「VPNにはどう接続しますか？」が検索ではなくチケット作成になっていたのです。 トレースを見ると、ツール説明の「VPNとノートPCの問題」という書き方が、VPN関連の質問すべてに当てはまっていました。説明を「ITの対応が必要な依頼」に絞ると、全例が通りました。平均だけを見ていたら見逃していた退行です。 この流れを支えるのがEval-Driven Developmentです。テスト駆動開発のように、先に「良い状態」を仕様とevalで定義し、修正前のエージェントで失敗することを確かめ、変更のたびに実験を例ごとに比べます。保留セットで過学習を見張り、本番のトレースからevalを育てていく考え方です。 What Is Eval-Driven Development? How to Improve AI Agents #AIAgents# #LLMEvals#

医療に踏み込めないAIコーチは、どうやって「安全」を証明するのか。 英国のデジタルヘルス企業NumanのAIコーチ「Nu」は、診断も処方もしないウェルネス製品です。この境界を守りながらコーチングの質も上げる必要がありました。最初は静的なデータセットで1返信ずつ採点しましたが、平均点では少数の危険な返信が隠れ、台本どおりの会話もNuの想定外の発言に追従できませんでした。しかも低スコアの原因は、2ターンで共感と助言を求める評価側のルーブリックでした。 転機は「プロンプトより評価基準が希少」という発想です。患者が使うのと同じLangGraphのグラフでそのままテストし、テーマ別に採点し、安全プローブで回帰をリリースごとブロック。さらに安価なモデルに患者を演じさせ、会話全体をジャッジします。結果、プロバイダー移行は数週間かかる作業が約1日になりました。 How Numan built an eval-first AI health coach with LangGraph and LangSmith #LangGraph# #LLMEvaluation#