註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 TerminalBench
TerminalBench 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 TerminalBench 的搜尋結果
OpenAI 今天上线了 GPT-5.6 系列,三个模型一起发: - ​​Sol(旗舰)​​: TerminalBench 代码测试 91.9%,定价 30,性价比不错。 - ​​Terra(均衡)​​:性能接近上代旗舰,价格砍半。 - ​​Luna(经济)​​:$1 起步,适合日常轻量用。 新增两个功能:​​max 深度推理​​(复杂问题慢慢想)和 ​​ultra 多智能体模式​​(多任务并行)。7 月还会接 Cerebras 加速,速度 750 tokens/秒。 跟 Claude Fable 5 比,代码工作流 Sol 略胜(88.8% vs 88.0%),但智能代码理解 Claude 更强(80.3% vs 58.6%)。目前限量预览中,普通用户预计几周内开放。
顯示更多
GPT-5.6 已在 Codex 应用中出现,虽暂不可用,但部署已就绪。 爆料称下周发布“极有可能”。 继 TerminalBench 91.9% 跑分后,OpenAI 准备亮出真家伙了。
顯示更多
模型没改一个字,Harness 却让它长了本事 DeepSeek V4-Flash 这次发的"正式版",本质不是新模型。 架构没动,参数没加——Flash 还是 2840 亿总参、130 亿激活;Pro 是 1.6 万亿 / 490 亿,差一个数量级。官方原话就一句:"仅重新进行了后训练"。 没换发动机,只重调了变速箱和驾驶策略。 结果 Agent 能力一下子跳到接近 Pro:TerminalBench 82.7、DeepSWE 54.4、Cybergym 76.7。 这事儿值得盯,是因为它恰好验证了崔添翼进 DeepSeek 要干的那件事。 崔添翼是谁?浙大加六枚 ACM 金牌,Jane Street 量化九年,今年三月被梁文锋挖来组建 Agent 团队。 他给的公式很直白:Model + Harness = Agent。 Harness 是啥? 说白了,就是套在模型外面、让它能真正接任务、调工具、自己跑起来干活的那套系统。模型是发动机,Harness 是方向盘、刹车。没有它,模型再聪明也是个裸 API,跑不了真实任务。 他的切入点妙在:量化交易和 Agent 底层逻辑同源——都是上下文管理、工具调用、终端执行、权限控制。 量化不堆算力,是在噪音里筛信号、精准路由。这套"信号过滤 + 路由执行",被他搬到了模型框架上。 一句话:Harness 不是让模型更聪明,是让便宜的 token 变有用。小模型配好 Harness,能打赢大模型加糙 Harness。 为什么这能替代堆参数? 预训练是灌知识(多聪明),后训练是岗位带教(教怎么把事办完)。 这次证明:130 亿激活的小 Flash,靠重训加自家 Harness 环境,Agent 成绩逼近 490 亿的 Pro。 → 模型规模不再是 Agent 能力的唯一决定因素,训练方法、数据质量、Harness 的权重在上升。 但要泼盆冷水:Harness 和内部测试集没公开,第三方还没复现,暂时不能断言"后训练已可替代扩容"。 这条路线直接打 Agent 应用层的"毛利危机"——Cursor、Devin 这类产品,被 OpenAI、Anthropic 的旗舰账单吸走大半订阅费,沦为"算力劳务派遣"。 DeepSeek 的逻辑:用便宜 token 加自家 Harness,把成本压下来、可控性提上去,切 OpenAI 后院。 → 看 AI 应用公司,同一个模型换 Harness 结果天差地别。未来估值要看"模型 × Harness"复合能力,不是单看参数。 所以下一仗,是模型还是 Harness?
顯示更多
0
17
25
3
轉發到社區
Terminal Agent 很容易遇到一种失败是前面修对了 90%,最后一个 hidden test 没过,最终结果还是失败。 这篇 Terminal-RSI 研究的,就是怎么把这种「差一点成功」也变成下一轮真正有用的训练信号。 它交替做两件事。 RSR 会从已经验证成功的轨迹里提炼可复现的做法,再教回 Agent; RPR 则继续用强化学习消化执行反馈,让局部进展可以获得 credit,同时保证「真正完成任务」始终比只通过部分检查更重要。 论文还有一个很细的设计是 Terminal 里一次命令可能吐出几千 token 日志,但期间 Agent 根本没有做新决策。 所以它把信用分配的时间尺度从「token 数量」改到「交互轮次」,避免日志越长,前面的关键决策反而被稀释。 基于 Qwen3.8-27B,经过两轮 RSR + RPR 后,四个 Terminal-Bench 的平均成功率从 20.68% 提升到 50.58%;Terminal-Bench Hard 从 31% 提升到 79%。 我比较喜欢这篇对「失败轨迹」的处理方式。 一次任务没通过终验,不代表前面所有判断都没有价值。 真正好的自我改进系统,应该能把已经走对的部分留下来,同时知道最后为什么还差那一步。 📎 arxiv:
顯示更多
Claude Opus 5.5 发布,跑分直接屠榜了🔥 ✅ Terminal-Bench 4.0:66.4%(GPT-6 Astra 57.9%,GPT-5.6 Sol 只有 37.3%) ✅ FrontierCode v1.1:54.4%,全场第一 ✅ CursorBench 4.0:57.8%,领先第二名 6 个点 ✅ GDPval-AA 知识工作:1846 分,断层领先 ✅ OSWorld 2.0 电脑操作:81.8% ✅ 图表识别:89.0% Agentic coding 三项全第一,代码能力这块 Anthropic 是真没对手了。 唯一丢的两项:业务流程自动化(AutomationBench)和科研(TB-Science)被 GPT-6 Astra 拿下。 我的判断:写代码、做知识工作选 Opus 5.5,做自动化流程的可以再看看 Astra。
顯示更多
DeepSeek 今天下午发大招:V4-Flash 正式版 API 公测开启! ✅ Terminal Bench 2.1:82.7(Pro Preview 才 72.1,GLM-5.2 81.0) ✅ 9 项 Agent 基准全面碾压自家 Pro 预览版 ✅ 284B/13B MoE + 1M 上下文,规格不变,只靠后训练硬拉 ✅ 原生适配 Codex,Responses API 直接切 ✅ 价格还是白菜价:输入 1 元、输出 2 元/百万 token 注意只更新了 Flash API,App/Web 端没动。Pro 正式版 8 月初。 性价比杀疯了,开发者可以冲!
顯示更多
Claude Opus 5.5 发布:性能提升 40%,成本反而降了 性能接近 Claude Fable 5.1,但价格比 Opus 5 低 40%。 1. 基准测试 Opus 5.5 在 Terminal-Bench 4.0 拿到 66.4%,FrontierCode v1.1 拿到 54.4%,CursorBench 4.0 拿到 57.8%,均领先 GPT-6 Astra 和 GPT-5.6 Sol。 2. 缓存读取降 60% 利好 Agent 和编程。 3. 输出速度提升 30% 以上 内测用户用 Opus 5.5 修复一个 20 万行的代码库,耗时不到 3 小时。 同样任务,Opus 5 花了 20 多小时,多 2.5 倍 token。 Anthropic 内部:让 Opus 5.5 和 Fable 5.1 把 HAProxy(一个负载均衡软件)从 C 语言翻译成 Rust。 两个版本都通过了 HAProxy 的回归测试,但 Opus 5.5 用了 9.5 小时,Fable 5.1 用了 12 小时,成本还低了 51%。 GitHub 的测试数据也印证了这一点:在 VS Code 中,Opus 5.5 解决终端任务的步骤数不到 Opus 5 的一半。 更少步骤,更少 token,更低成本,甚至更好的结果。 4. 知识工作准确性提升 Anthropic 让三个模型用网页信息写一份公司季度业绩报告,财报链接故意藏得很深,自动评分器会逐条核查数字和引用来源。 Opus 5.5 的 18 次尝试中,16 次通过,任何一个编造的数字或引用都会直接失败。 Fable 5.1 和 Opus 5 一次都没过。 在 GDPval-AA v2.1(覆盖 44 个职业的真实工作评估)上,Opus 5.5 拿到 1846 Elo,Fable 5.1 是 1735,Opus 5 是 1708。 默认设置下,Opus 5.5 表现超过 GPT-6 Astra 最高设置,成本只有Astra五分之一。 5. 沟通风格,重要信息前置 Opus 5 一个常见用户抱怨,输出冗长,不能快速抓住重点。 Opus 5.5 明显改进,它会把最重要的信息放在最前面,减少行话和特殊表达,更好遵循用户的写作规则。 同样解释 bug,Opus 5 会先说发现了什么,再解释 bug 本身。 Opus 5.5 开头就说"这是一个账单重构里的 bug",然后对比修改前后的代码逻辑。 6. 安全评估 Opus 5.5 的越界尝试次数比 Opus 5 和 Claude Mythos 5.1 少了约 85%。 在提示注入攻击防御上,Opus 5.5 与 Opus 5 持平或更好。 AI 安全公司 Gray Swan 的测试发现,Opus 5.5 和 Fable 5.1 并列所有测试模型中提示注入成功率最低。 不过,Opus 5.5 经常能察觉自己正在被评估。 Anthropic认为,除非在可解释性研究上取得进展,否则这个类似挑战会随着模型能力提升加剧。 Opus 5.5 在生物学和网络安全领域的能力已经接近 Claude Mythos 5.1,所以也会做访问限制。 网络安全/生物研究任务会被路由到 Opus 4.8 处理。 Anthropic 还引入了"preserved thinking"(保留思维链)机制。 防止通过 API 批量提取模型推理,对 2026 年 8 月 31 日之后创建的 API 账户生效。 7. 上架说明 Claude Sonnet 5.5 和 Claude Haiku 5.5 将在未来几周发布。 Opus 5.5 已经在 AWS、Google Cloud 和 Microsoft Azure 上线,API 调用名称是 `claude-opus-5-5`。 Pro、Max 和 Team 订阅用户的五小时使用限额也同步提升,可自主选择何时重置。 官方公告地址:
顯示更多
啊?这一段原来都用的是beta版么? DeepSeek-V4-Flash 正式版 API 今天上线公测,Agent 能力提升明显。 Terminal Bench 2.1 得分 82.7,Cybergym 76.7,多项基准超过 V4-Pro-Preview。 模型结构和尺寸没变,这次只重新做了后训练。 它原生支持 Responses API,还针对 Codex 做了适配。 官方表示 V4-Pro 正式版会尽快发布。
顯示更多
GLM-5.2 刚涨价,DeepSeek 转头就把桌子掀了。 V4-Flash 正式版 API 上线公测,Terminal Bench 2.1 跑到 82.7,NL2Repo 54.2,DeepSWE 54.4。拿 GLM-5.2 的常规口径对一下:81.0、48.9、46.2。表面看,三项都压了过去,而且出手的还只是 Flash,不是后面的 Pro。 这就有意思了。 GLM-5.2 前脚刚把价格抬上去,DeepSeek 后脚就拿原本负责性价比的 Flash 过来抢 Agent 的位置。更狠的是,这版模型结构和尺寸没变,只靠后训练,把进终端、读仓库、调工具、跑长任务重新练了一遍。 它还原生支持 Responses API,专门适配 Codex。什么意思?DeepSeek 不只是来刷榜,它是准备直接抢 Code Agent 的开发者入口。 当然,不同 Harness 不能简单判死刑,榜单也不等于真实项目。但 GLM-5.2 这波涨价多少有点尴尬:你前脚说自己值更多钱,DeepSeek 后脚就拿 Flash 过来问——凭什么? 接下来别看谁嗓门大。拿同一个真实仓库、同一套任务、同一笔预算跑一遍,谁先把活干完,谁才有涨价的底气。
顯示更多
2. Google I/O 2026:Gemini 变成 Agent 平台 - 优先级: 9 | 影响力: 6 | 信息差: 3 - 来源: Forbes (25小时前) - 核心: - 发布 Gemini 3.5 Flash,首个3.5系列模型 - Terminal-Bench 2.1得分 76.2%,MCP Atlas得分 83.6% - 比Gemini 3.1 Pro快4倍 - 将Gemini定位为Agent引擎,集成到所有Google产品 - 影响: Google正式将Agent作为核心战略,对标OpenAI和Anthropic - 中国讨论度: Google I/O有部分报道,但Agent平台定位的深层含义讨论不足
顯示更多