TwiScan
熱門
社區
帳號集合
登入
註冊
English
日本語
한국의
简体中文
繁体中文
註冊並分享邀請連結,可獲得影片播放與邀請獎勵。
立即註冊
iwashi / Yoshimasa Iwase
@iwashi86
NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#
fukabori
#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。 発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。
加入 May 2009
704
正在關注
21.1K
粉絲
iwashi / Yoshimasa Iwase
@iwashi86
2026.07.28 23:30
要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。 ・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い ・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴 ・実際の開発のように、コードを時間をかけて進化させる能力が問われる ・著者が最新の Opus 5 などをこのベンチマークで実際に検証した ・結果、Opus 5 のパス率は24%にとどまった ・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い ・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく ・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した ・生成コードの約半分をテストが占めている ・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない ・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難 ・人間によるステアリングがまだまだ必要そう
顯示更多
0
0
0
25
6
轉發到社區
熱門用戶
New York Post
@nypost
4.3M 粉絲
オリコンニュース
@oricon
2M 粉絲
Reuters
@Reuters
26.5M 粉絲
First Squawk
@FirstSquawk
579.6K 粉絲
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉絲
吴说区块链
@wublockchain12
183K 粉絲
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 粉絲
TVer新着
@TVer_info
101.8K 粉絲
空空道人
@Kongkongda5882
40.9K 粉絲
billboard
@billboard
16.8M 粉絲
Bloomberg
@business
10.5M 粉絲
华尔街观察 Xtrader
@cnfinancewatch
140.3K 粉絲
zerohedge
@zerohedge
3.4M 粉絲
中國新聞社
@CNS1952
550K 粉絲
WangNextDoor
@WangNextDoor2
110.9K 粉絲