cv usk(@cv_usk):TL;DR 実際の顧客対応エンジニアが経験する「曖昧な要求」「隠れた制約」「的外れな依頼」を再現したベンチマークFDE-Gymが登場しました。最強モデルでも95タスク中15%しか解決できず、弱いモデルは何もしないより悪い結果を出すことが分かりました。タイトル: FDE-Gym: The Last Mile of AI Delivery URL: https://t.co/J90IUMYmUb ポイント 🎯 18業界・20シナリオ・95タスクを、要求の明確さを4段階(ルール提示済み〜的外れな依頼)に分けて評価します 📉 最高性能のClaude Opus 5.5でもスコアは0.56、「解決」とみなせるタスクは95件中14件(15%)のみです 🧩 最大のボトルネックは「隠れた制約の発見」。ルールを与えられれば0.82取れるのに、自分で探させると0.28も急落します ⚠️ 弱いモデル(Claude Haiku 4.5など)は95タスク中79件でベースライン(何もしない)より悪い結果になりました 💸 顧客への質問には「接触コスト」がかかる設計で、質問しすぎるエージェントはスコアを0.14〜0.22失います 📊 他のベンチマーク(Terminal-Bench等)で88〜90%の成功率を出すモデルでも、FDE-Gymでは0.19〜0.56に沈みますコストや会話量と最終スコアに相関がないという結果は、「頑張って動く」ことと「顧客の数字を実際に改善する」ことの間に大きな断絶があることを物語っていると思います。 #AIエージェント #ベンチマーク

2026.10.17 11:24

TL;DR 実際の顧客対応エンジニアが経験する「曖昧な要求」「隠れた制約」「的外れな依頼」を再現したベンチマークFDE-Gymが登場しました。最強モデルでも95タスク中15%しか解決できず、弱いモデルは何もしないより悪い結果を出すことが分かりました。タイトル: FDE-Gym: The Last Mile of AI Delivery URL: ポイント 🎯 18業界・20シナリオ・95タスクを、要求の明確さを4段階(ルール提示済み〜的外れな依頼)に分けて評価します 📉 最高性能のClaude Opus 5.5でもスコアは0.56、「解決」とみなせるタスクは95件中14件(15%)のみです 🧩 最大のボトルネックは「隠れた制約の発見」。ルールを与えられれば0.82取れるのに、自分で探させると0.28も急落します ⚠️ 弱いモデル(Claude Haiku 4.5など)は95タスク中79件でベースライン(何もしない)より悪い結果になりました 💸 顧客への質問には「接触コスト」がかかる設計で、質問しすぎるエージェントはスコアを0.14〜0.22失います 📊 他のベンチマーク(Terminal-Bench等)で88〜90%の成功率を出すモデルでも、FDE-Gymでは0.19〜0.56に沈みますコストや会話量と最終スコアに相関がないという結果は、「頑張って動く」ことと「顧客の数字を実際に改善する」ことの間に大きな断絶があることを物語っていると思います。 #AIエージェント# #ベンチマーク#