TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
가입 November 2020
744
팔로잉 중
16.1K
팬
Xudong Han
@Xudong07452910
2026.10.09 03:24
我们是不是高估了 Harness 对 Coding Agent「能力」的提升? 这篇论文中把模型固定,只替换 Claude Code、mini-SWE-agent 和 OpenCode,在 SWE-bench Verified 上重新测试。 结果很有意思。 在 447 个任务上,最重的 Claude Code 和最轻的 mini-SWE-agent,成绩差异落在 5 个百分点以内。 在 45 个高难任务、5 个模型上,换 Harness 会让 13% 的任务结果发生变化;但什么都不改,只把同一个配置再跑一遍,同样有 13% 的任务会翻转。 也就是说,很多看起来像 Harness 带来的提升,可能还没有明显超过运行本身的随机波动。 真正拉开差距的反而是成本。 同一个模型、同一批任务,不同 Harness 的单任务成本最高能差 3 倍。主要原因很简单:系统 Prompt 和工具 schema 会在每一步重复进入上下文,初始开销再被执行步数不断放大。 论文还提醒了一个容易被忽略的问题: 45 个任务连 13 个百分点的差距都只有约一半概率能检出;即使做到 447 个任务,分辨率也大约只有 5 个百分点。 所以我们得把 Harness 的价值拆开看了。 它当然会影响 Agent 怎么工作,但很多时候,最稳定、最容易测出来的差异,可能先体现在 token、成本和执行效率上。 📎 arxiv:
더 보기
0
0
12
38
6
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
Bloomberg
@business
10.5M 팬
TVer新着
@TVer_info
101.8K 팬
Reuters
@Reuters
26.5M 팬
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
billboard
@billboard
16.8M 팬
First Squawk
@FirstSquawk
579.6K 팬
吴说区块链
@wublockchain12
183K 팬
i-dle (아이들)
@official_i_dle
2.3M 팬
zerohedge
@zerohedge
3.4M 팬
ITZY
@ITZYofficial
6.6M 팬
tripleS official
@triplescosmos
234.2K 팬
ATEEZ(에이티즈)
@ATEEZofficial
4.9M 팬