cv usk
@cv_usk
AI / Software Research Notes
AI Agent, LLMOps, MLOps, Software Architecture
投稿は個人の意見です。
가입 May 2026
286 팔로잉 중 469 팬
医療に踏み込めないAIコーチは、どうやって「安全」を証明するのか。
英国のデジタルヘルス企業NumanのAIコーチ「Nu」は、診断も処方もしないウェルネス製品です。この境界を守りながらコーチングの質も上げる必要がありました。最初は静的なデータセットで1返信ずつ採点しましたが、平均点では少数の危険な返信が隠れ、台本どおりの会話もNuの想定外の発言に追従できませんでした。しかも低スコアの原因は、2ターンで共感と助言を求める評価側のルーブリックでした。
転機は「プロンプトより評価基準が希少」という発想です。患者が使うのと同じLangGraphのグラフでそのままテストし、テーマ別に採点し、安全プローブで回帰をリリースごとブロック。さらに安価なモデルに患者を演じさせ、会話全体をジャッジします。結果、プロバイダー移行は数週間かかる作業が約1日になりました。
How Numan built an eval-first AI health coach with LangGraph and LangSmith
#LangGraph# #LLMEvaluation#
더 보기
