cv usk(@cv_usk):💻 最強クラスのコーディングAIでも、非プログラマー相手だとスコアが半分以下に落ちる…そんな現実を突いたベンチマークが登場しました。タイトル: SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction URL: https://t.co/WyjYNQeO9i ❓ 何が課題だったの？既存のコーディング評価ベンチマークは、タスクが短く、かつ要件を最初から全部提示してしまうものが多く、実際のユーザーが段階的に要望を出していく現実の使われ方を反映できていませんでした。 ❓ SWE-Journeyは何が違うの？平均10.2ファイル・768行規模の長期タスクを自動合成し、Claudeの実対話ログから抽出した「非プログラマー」「プロダクトマネージャー」「新人開発者」「ソフトウェアアーキテクト」という4つのペルソナがAIと何十ターンもやり取りしながら評価します。 ❓ 結果はどうだったの？最高性能のモデルでもFinal F2P（最終的な機能実装成功率）は52.22%にとどまりました。しかもソフトウェアアーキテクト相手では78.50%出せるのに、非プログラマー相手だと23.00%まで落ち込み、差は55.50ポイントにも及びます。 ❓ なぜそんな差が出るの? 弱いモデルは曖昧な要求を聞き返さず、見当違いの箇所に過信して固執し、根拠なく「修正完了」と報告してしまう傾向が確認されています。相手に応じて質問の仕方や確認の仕方を変える力が、実力の差になっていました。 #AIコーディング #LLM評価

2026.10.13 11:27

💻 最強クラスのコーディングAIでも、非プログラマー相手だとスコアが半分以下に落ちる…そんな現実を突いたベンチマークが登場しました。タイトル: SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction URL: ❓ 何が課題だったの？既存のコーディング評価ベンチマークは、タスクが短く、かつ要件を最初から全部提示してしまうものが多く、実際のユーザーが段階的に要望を出していく現実の使われ方を反映できていませんでした。 ❓ SWE-Journeyは何が違うの？平均10.2ファイル・768行規模の長期タスクを自動合成し、Claudeの実対話ログから抽出した「非プログラマー」「プロダクトマネージャー」「新人開発者」「ソフトウェアアーキテクト」という4つのペルソナがAIと何十ターンもやり取りしながら評価します。 ❓ 結果はどうだったの？最高性能のモデルでもFinal F2P（最終的な機能実装成功率）は52.22%にとどまりました。しかもソフトウェアアーキテクト相手では78.50%出せるのに、非プログラマー相手だと23.00%まで落ち込み、差は55.50ポイントにも及びます。 ❓ なぜそんな差が出るの? 弱いモデルは曖昧な要求を聞き返さず、見当違いの箇所に過信して固執し、根拠なく「修正完了」と報告してしまう傾向が確認されています。相手に応じて質問の仕方や確認の仕方を変える力が、実力の差になっていました。 #AIコーディング# #LLM評価#

Forward to community