医療に踏み込めないAIコーチは、どうやって「安全」を証明するのか。 英国のデジタルヘルス企業NumanのAIコーチ「Nu」は、診断も処方もしないウェルネス製品です。この境界を守りながらコーチングの質も上げる必要がありました。最初は静的なデータセットで1返信ずつ採点しましたが、平均点では少数の危険な返信が隠れ、台本どおりの会話もNuの想定外の発言に追従できませんでした。しかも低スコアの原因は、2ターンで共感と助言を求める評価側のルーブリックでした。 転機は「プロンプトより評価基準が希少」という発想です。患者が使うのと同じLangGraphのグラフでそのままテストし、テーマ別に採点し、安全プローブで回帰をリリースごとブロック。さらに安価なモデルに患者を演じさせ、会話全体をジャッジします。結果、プロバイダー移行は数週間かかる作業が約1日になりました。 How Numan built an eval-first AI health coach with LangGraph and LangSmith #LangGraph# #LLMEvaluation#