TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
meng shao
@shao__meng
追踪 AI 前沿,精选解读一手技术资料 分享 Agent 构建与 AI Coding 实践 拆解架构、选型与企业落地案例 前 CTO|AI 顾问 · 企业培训 公众号/小红书:AI 启蒙小伙伴 合作私信 |
参加 November 2023
1.1K
フォロー中
37.5K
ファン
meng shao
@shao__meng
2026.11.09 08:54
Garry Tan 开源「g-harness-evals」:同一个前沿模型做同一批任务,只换掉 agent harness,也就是系统提示、工具和记忆这些外围设计,谁更准,谁更省钱? 测什么,怎么判分 任务不是编程题这种评测,是一家虚构公司 Pemberline 的多人办公场景。测试搭了一个模拟的 Slack,让 agent 担任团队机器人,处理权限、审批,以及别人在后续对话里提出的纠正。主榜用的是 v0.3 版本的 20 道公开开发集任务。 模型固定为 Opus 5.5 或 GPT-6.1 Sol,只换 harness。Opus 这边比较 Claude Code、Hermes、OpenClaw 和 QM,Sol 这边比较 Codex、Hermes 和 OpenClaw。Claude Code 和 Codex 各自绑定自家模型,所以两者之间不做同模型对比。 判分不看 agent 自己怎么说,而是检查任务结束后的系统状态和事件日志,确认答案是否正确、有没有泄密、有没有越权读取。费用按计量代理记录的标价计算,用总花费除以通过的题数,得出解出一题平均花多少钱,另外报告耗时中位数。 评测结果关键数字 准确率方面,Garry 认为各个 harness 的通过率区分不开,大约都在 71% 到 79% 之间,Hermes 配 Opus 的点估计是 78.8%。20 道题里有 14 道在所有组合下得分完全相同,8 到 14 个百分点以内的差距基本无法确认。Garry 也承认这套题已经接近饱和。 真正拉开差距的是成本和速度,这部分只是描述性数据,没有做统计检验。在 Opus 上,OpenClaw 解出一题约 0.44 美元,耗时中位数约 99 秒。其余几个 harness 约 0.19 到 0.24 美元,Claude Code 和 QM 大约 40 秒。在 Sol 上,Codex 约 0.17 美元、30 秒左右,又便宜又快。作者把 OpenClaw 偏贵归因于提示更长、缓存写入更多。 失败案例里,跨频道纠正这类任务所有 harness 都容易出错。Garry 也提醒,这是开发集而不是留出集的确认结果,OpenClaw 有部分组合没跑完,QM 的网络条件也没和其他组对齐。
もっと見る
0
0
24
19
4
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
New York Post
@nypost
4.3M ファン
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K ファン
TVer新着
@TVer_info
101.8K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
Bloomberg
@business
10.5M ファン
Reuters
@Reuters
26.5M ファン
モデルプレス
@modelpress
2.1M ファン
First Squawk
@FirstSquawk
579.6K ファン
billboard
@billboard
16.8M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
吴说区块链
@wublockchain12
183K ファン
ファミ通.com
@famitsu
1.4M ファン
cv usk
@cv_usk
473 ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン