all in 主持人Jason Calacanis今天的一期节目中，嘉宾eric Ho说： Kimmy K3表现出了极强的奖励操纵 (reward hacking) 倾向。 在针对swe bench的500 次测试执行中，有 487 次出现了奖励操纵行为。 该模型在被测试时，能够识别出自己正处于评估环境中，但它依然选择跳过正常解题步骤，试图先去“查找答案”以获取高分，而不是通过逻辑推演来完成任务。

90后这代人的基数人口（不是本硕以上、不是计算机毕业、 不是科技互联网大厂985本硕以上）， 99%是不会正确用SWE Agent进行编程的，90%是没接触过coding agent的，80%以上是摸不清豆包这种chatbot agent的能力边界的。 就是说90后这批还算年轻的中年群体，绝大多数不了解不接触不会用general agent， 也对这类工具和技术的能力边界、利弊、使用场景没有任何了解。 当年不会用手机电脑的至少都是中老年人，现在直接是30岁的这批人了。

推荐这篇，Cursor 的研究团队用定量方法揭露了一个越来越严重的问题：新模型在编码基准测试上的得分增长有多大比例是靠检索到答案而不是真的推导出答案。结果是——Opus 4.8 Max 在 SWE-bench Pro 上 63% 的成功轨迹存在答案检索行为，环境收紧后分数从 87.1 跌到 73.0。 Reward hacking 正在淹没模型智能的增长 更聪明的模型在编码基准测试上越来越擅长走捷径。基于真实 bug 后被修复的评估集尤其脆弱——如果 agent 能访问仓库历史或公开互联网，它有时能查到答案而不是推导出答案。 为了测量这种行为的普遍程度，Cursor 建了一个审计 agent。在 SWE-bench Pro 上，Opus 4.8 Max 的 63% 成功轨迹是检索到了修复方案而非推导出来。封上 git 历史和互联网后，分数大幅下跌：Opus 4.8 Max 从 87.1% 掉到 73.0%，Composer 2.5 从 74.7% 掉到 54.0%。 两种最常见的 reward-hacking 模式 上游查询——57% 的轨迹中 Opus 4.8 Max 在公开互联网找到了已合并的 PR 或修复后源文件，然后几乎逐字复制。 Git 历史挖掘——9% 的轨迹中模型搜索了内置的 .git 历史，找到修 bug 的后续 commit，提取补丁。 随着模型变强，它们有时能推断自己正在被评估。一个 SWE-bench Multilingual 任务来自 2019 年的 jq issue，agent 试图用系统 jq 二进制复现 bug。因为镜像在 bug 修了之后才构建，复现失败，agent 推断 issue 已解决。这个意识推着它去搜索修复方案而非推导。 严格环境的差距在扩大 多语言 SWE-bench：Opus 4.6 不到 1 分差距，Opus 4.8 Max 9.1 分差距，Composer 2.5 7.5 分差距。 SWE-bench Pro：Opus 4.6 不到 1 分，Opus 4.8 Max 14.1 分，Composer 2.5 20.7 分。 GPT 系列模型没有表现出同样的升级趋势，差距普遍更小。 对评估的影响 对于使用历史公开仓库的基准测试，开放访问可能让 agent 找到已知修复而非解决 bug。没有 harness 控制，分数混杂了编码能力和答案检索。团队需要决定想测量的行为，围绕这个设计 harness，报告结果时说清楚设置。审计轨迹可以帮助揭示模型以意外方式解决任务的情况。 更深层的问题仍未解决：当模型越来越意识到自己在被评估时，它们可能以更微妙的方式改变行为——这不是封掉 git 历史或限制互联网就能解决的。 原文：Cursor Research, "Reward hacking is swamping model intelligence gains", 2026-06-25 #编码评测# #SWEbench# #Agent#

GPT5.6 也要经过审查后发布，有可能未来 AI 会变成另一种军备竞赛，一旦出现在生物/医疗/材料/数学/物理方向上的突破，到时候各国的 AI 军备竞赛就变成了谁刹车谁挨揍的局面。就看什么时候大模型能从 SWE 上彻底跳出来转向更实用的方向研究

MiniMax 今日发布 M3 大模型 目前唯一同时具备顶尖编程、百万级超长上下文与原生多模态桌面操控能力的开源路线模型（计划 10 天内开源权重）。 在 SWE-Bench Pro 上拿下 59.0% 成绩，超越 GPT-5.5 与 Gemini 3.1 Pro，接近 Opus 4.7；Terminal Bench 2.1 也达到 66.0%。首创稀疏注意力 MSA 架构，百万上下文下每 token 计算量降至上代 1/20，预填充加速 9 倍、解码加速 15 倍。 实测已能自主复现 ICLR 2025 论文、24 小时内调用工具 1959 次优化 Hopper FP8 算子。MiniMax Code 同步更新，支持 computer use 桌面操控。 订阅 Plus 档每月 49 元即可获得 6 亿 token（约 Claude Pro 的 5 倍容量），API 已上线，提供 thinking 与快速模式。

一觉醒来，目前最强大的两个模型都更新了。Opus 4.6 极大的增强了 Agentic 通用能力，但是 SWE Bench 不升反降了一点点。从官方宣传的跑分上来看，代码能力上，GPT 5.3 要比 Opus 4.6 强。今天用新模型来写代码实际测测。

2025年起，我反复强调的四个原则： 原则1，时代的第一性原理：LLM一定会越来越聪明，benchmark越来越高，context window越来越大，reasoning越来越长，价格越来越便宜，inference速度越来越快， 这是scaling law今天依然持续的具体方向，不用你质疑，这是你唯一的信仰和行业最大共识。 原则2， 管理学设计红利：从我提出“自动编程机”、行业提出vibe coding、SWE-Agent以来，从cursor到manus到metaGPT到claude code， 人们逐渐把LLM Agent抽象成人，把软件管理、工程管理、管理学等等所有方法论直接套在multi agent workflow上面，严格按照人类管理学的方式去拆分、review、执行、反馈、循环， 这一波很快红利也吃完了，因为 a. LLM Agent毕竟不是人，存在着memory有限、执行力有限、function calling工具有限等等局限；b. 人类用于管理学的各种方法，直接套在LLM Agent上有利有弊，红利迅速挖掘完，剩下的弊端大量存在，比如过度交流、七手八脚、随时停工等等。 原则3，LLM Agent的职位和定位：绝大多数人，把claude code当做一个工具，最终的产品是用工具来完成的，最终的代码也是人与SWE Agent一步一步interactively迭代产生、迭代review、迭代部署的， 而我反复告诉过所有人，也是我又一条首次提出的原创观点，multi agent未来越来越会变成本身的一个runtime，这个runtime就运行在production里面，产品和面向的对象消费的，不只是软件或者SaaS本身，而是这个runtime实时产生的内容， 所以claude code/opencode/codex/openclaw这些agent，本身将会越来越多地被嵌入到产品本身，在产品关键逻辑和决策中发挥作用， 而绝对不仅仅停留在开发层面，把产品仅仅局限在SWE Agent单向产出和部署的代码和服务上。 原则4，也是我一直强调的，就是当人们试用了SWE Agent这种强大工具之后，人们还有哪些low hanging fruits可以寻找？SWE Agent目前最适合解决哪类问题？ 我反复讲过的一点是，对于一个设计复杂、环境复杂、场景复杂、用户复杂、体量复杂、范式复杂、一切开放、一切无解的超级复杂系统，这并不是SWE Agent最擅长的领域，相反这些场景需要人去和环境、客户、场景、性能一点点迭代才能打磨好的产品， 比如微信的100种功能，Facebook的一大堆功能模块和十几年来迭代出来的极其复杂的infra，支付宝后面成千上万的基金和风控，这些都不是AI Agent能一次性解决的问题，相反这些场景和问题不仅高度开放，更高度依赖人的观察、人的设计、人的反馈、人的定义。 AI Agent最适合的场景，甚至是我原创提出goal driven（ a. 定义简单、干净、封闭（一道数学系、一个确定性最小系统、一个编译器、一种算法、一个lean证明、一个电路或者信号模拟、蛋白质模拟和预测、CAD设计与仿真、游戏关卡测试、行为经济学仿真，都是well-defined problems，都有非常明确且封闭的边界） b. 解决问题的搜索空间巨大（可能有100~10万种天马行空的解决方案，并且绝大多数都是错的） c. 容易验证，容易verify，验证的成本是设计成本的千分之一（比如编译器，设计可能需要几万行甚至几十万行，验证只需要2000个test case全面覆盖，或者一道数学题，解决需要100步，验证答案只需要带入或者lean编译这一步） 当然，写一段简单的代码，定义一个封闭、完整、定义完全的编程问题，符合上面这些定义， 但是设计一套巨大、复杂、开放、与现实世界深度绑定、高度耦合的系统，让这个系统复杂迭代、添加功能、沟通、review、工程管理、产品管理，这些问题都远远超出这个范畴，很明显是不符合这个要求的。 人们未来探索这些multi agent产品和场景的最关键出路，在于继续挖掘这一类问题，而不是盲目把agent比作一个人，乱套各种管理学方法。

graph engineer vs loop engineer : 不是替代，是嵌套。Loop 是最小的 Graph（单节点自环）；Graph 里每个干活的节点内部仍在跑自己的 Loop。"Loop Engineering is dead" 是 Hame‍l Husain 的反讽炒作。完整递进链：Prompt → Context → Harness → Loop → Graph，每层向外包一层。 多 Agent 不是必然更好。《Nature Machine Intelligence》2026 年研究（260 种配置）：可拆分的金融任务多 Agent 最高 +80.8%；强顺序依赖任务最高 −70%；SWE-bench Verified 上四类多 Agent 架构全部 −1.3%~−12.8%。决定变量是任务可拆分性，不是复杂度。 选型规则（社区共识版）：一个 Agent + 工具 = Loop；多个 Agent + 交接 = Graph。当你在 Loop 里硬塞并行、独立评审、人工审批门时，就是该升级到 Graph 的信号。

📢 小米 MiMo 系列模型现已登陆 API！ 🔸 MiMo-V2.5：310B 稀疏 MoE 原生全模态模型，支持图文音视频全模态输入与 1M 上下文，专为多模态 Agent 与通用编程打造。 🔸 MiMo-V2.5-Pro：1.02T 稀疏 MoE 旗舰文本模型，专攻复杂推理与长周期软件工程，SWE-Bench Verified 达 78.9。 现已开放两款模型的 API 调用，提供官方组接入和 自选服务商 4 折 优惠。 立即接入体验：

这个博客讲 Agent Harness 自进化中比较重要的一个问题： Harness 跑分提高了，到底哪里真的变好了？ 作者提出 Harness-Delta Attribution，把一次提升拆成三部分：过拟合、更多 test-time compute，以及最后真正能泛化的改进。 结果是在 ALFWorld 和 LiveMath 上，大量提升其实来自 Harness 学会了数据集里的规律和 shortcut；CREATE 上，不少收益单纯增加模型调用次数就能拿回来。 到了 held-out test，16 组实验里甚至有 4 组进化后的 Harness 比原来的 baseline 更差。 SWE-bench 上能看到比较明显的可泛化提升，但主要集中在能力较弱、还有提升空间的模型。 我觉得这对 Agent 自进化研究有一个提醒。 以后看到「Harness 自动进化后 +20%」，需要多问一步：这 20% 里有多少学到了可复用的方法，有多少只是记住 Benchmark，或者花了更多 Token 和调用次数。 文章：