iwashi / Yoshimasa Iwase(@iwashi86):要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴・実際の開発のように、コードを時間をかけて進化させる能力が問われる・著者が最新の Opus 5 などをこのベンチマークで実際に検証した・結果、Opus 5 のパス率は24%にとどまった・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した・生成コードの約半分をテストが占めている・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難・人間によるステアリングがまだまだ必要そう

iwashi / Yoshimasa Iwase

@iwashi86

NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。

参加 May 2009

701 フォロー中 21K ファン

iwashi / Yoshimasa Iwase@iwashi86

2026.07.28 23:30

要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴・実際の開発のように、コードを時間をかけて進化させる能力が問われる・著者が最新の Opus 5 などをこのベンチマークで実際に検証した・結果、Opus 5 のパス率は24%にとどまった・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した・生成コードの約半分をテストが占めている・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難・人間によるステアリングがまだまだ必要そう