cv usk
@cv_usk
AI / Software Research Notes
AI Agent, LLMOps, MLOps, Software Architecture
投稿は個人の意見です。
가입 May 2026
284 팔로잉 중 434 팬
TL;DR 実際の顧客対応エンジニアが経験する「曖昧な要求」「隠れた制約」「的外れな依頼」を再現したベンチマークFDE-Gymが登場しました。最強モデルでも95タスク中15%しか解決できず、弱いモデルは何もしないより悪い結果を出すことが分かりました。
タイトル: FDE-Gym: The Last Mile of AI Delivery
URL:
ポイント
🎯 18業界・20シナリオ・95タスクを、要求の明確さを4段階(ルール提示済み〜的外れな依頼)に分けて評価します
📉 最高性能のClaude Opus 5.5でもスコアは0.56、「解決」とみなせるタスクは95件中14件(15%)のみです
🧩 最大のボトルネックは「隠れた制約の発見」。ルールを与えられれば0.82取れるのに、自分で探させると0.28も急落します
⚠️ 弱いモデル(Claude Haiku 4.5など)は95タスク中79件でベースライン(何もしない)より悪い結果になりました
💸 顧客への質問には「接触コスト」がかかる設計で、質問しすぎるエージェントはスコアを0.14〜0.22失います
📊 他のベンチマーク(Terminal-Bench等)で88〜90%の成功率を出すモデルでも、FDE-Gymでは0.19〜0.56に沈みます
コストや会話量と最終スコアに相関がないという結果は、「頑張って動く」ことと「顧客の数字を実際に改善する」ことの間に大きな断絶があることを物語っていると思います。
#AIエージェント# #ベンチマーク#
더 보기
