TwiScan
热门
社区
账号集合
登录
注册
English
日本語
한국의
简体中文
繁体中文
注册并分享邀请链接,可获得视频播放与邀请奖励。
立即注册
iwashi / Yoshimasa Iwase
@iwashi86
NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#
fukabori
#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。 発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。
加入 May 2009
704
正在关注
21.1K
粉丝
iwashi / Yoshimasa Iwase
@iwashi86
2026.07.28 23:30
要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。 ・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い ・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴 ・実際の開発のように、コードを時間をかけて進化させる能力が問われる ・著者が最新の Opus 5 などをこのベンチマークで実際に検証した ・結果、Opus 5 のパス率は24%にとどまった ・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い ・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく ・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した ・生成コードの約半分をテストが占めている ・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない ・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難 ・人間によるステアリングがまだまだ必要そう
显示更多
0
0
0
25
6
转发到社区
热门用户
New York Post
@nypost
4.3M 粉丝
吴说区块链
@wublockchain12
183K 粉丝
狱
@Wx1n11124
317.9K 粉丝
オリコンニュース
@oricon
2M 粉丝
Reuters
@Reuters
26.5M 粉丝
华尔街观察 Xtrader
@cnfinancewatch
140.6K 粉丝
空空道人
@Kongkongda5882
41K 粉丝
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉丝
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K 粉丝
First Squawk
@FirstSquawk
579.6K 粉丝
TVer新着
@TVer_info
101.8K 粉丝
billboard
@billboard
16.8M 粉丝
allincrypto 熬鹰资本 🇨🇳
@thankUcrypto
209.5K 粉丝
中國新聞社
@CNS1952
550.1K 粉丝
zerohedge
@zerohedge
3.4M 粉丝