这个博客讲 Agent Harness 自进化中比较重要的一个问题： Harness 跑分提高了，到底哪里真的变好了？ 作者提出 Harness-Delta Attribution，把一次提升拆成三部分：过拟合、更多 test-time compute，以及最后真正能泛化的改进。 结果是在 ALFWorld 和 LiveMath 上，大量提升其实来自 Harness 学会了数据集里的规律和 shortcut；CREATE 上，不少收益单纯增加模型调用次数就能拿回来。 到了 held-out test，16 组实验里甚至有 4 组进化后的 Harness 比原来的 baseline 更差。 SWE-bench 上能看到比较明显的可泛化提升，但主要集中在能力较弱、还有提升空间的模型。 我觉得这对 Agent 自进化研究有一个提醒。 以后看到「Harness 自动进化后 +20%」，需要多问一步：这 20% 里有多少学到了可复用的方法，有多少只是记住 Benchmark，或者花了更多 Token 和调用次数。 文章：

Claude Code 和 Codex 都有 /goal 命令，很多人默认这俩差不多。刚读了 Charles Azam 的一个实验才发现，同一个命令下，是完全不同的两套系统，实验结果也挺好玩。 实验用的是一道光纤网络设计题，是他 2018 年当学生时做过的。他当年花了一周写 C++ 解它，可以作为一个人肉 baseline。这次他让 Fable 5 和 GPT-5.6 Sol 各跑三组 plain vs /goal 配对，每次 30 分钟，分数越低越好。 不过这个 benchmark 我倒是兴趣不大，我最感兴趣的是两套 /goal 的实现。 Claude Code：独立评审员模式 /goal 实现为 session 级的 Stop hook。主模型每跑完一轮，一个小评估模型（默认 Haiku）读取目标条件和对话记录，回答 yes/no 答 no 就再开一轮，答 yes 就清除目标 关键限制：评估模型不能用工具、不能看文件，只能根据对话记录里出现的证据来判断。它能抓住“提前退出”，但没法知道“再跑一千万次求解器迭代值不值” 优点是裁判独立（不是自己给自己打分），缺点是裁判是瞎的（只看 transcript） Codex：持久化状态 + 自我声明模式 goal 是持久化的线程状态：TUI 保存目标，SQLite 记录状态和预算 工作模型自己拿到 create_goal / get_goal / update_goal 三个工具。线程空闲但目标还在时，Codex 注入一个“继续干 + 完成度审计”的续跑轮次 关键区别：由工作模型自己声明完成。它看得到文件、也能用工具，但等于自己批改自己的作业 （这里对应的是作者查看的 Codex CLI 0.144.4；Claude Code 没有开源，相关实现来自 Anthropic 官方文档。）

如果 Research Agent 只能把 leaderboard 分数刷高，那它离真正做研究还差很远。 真正有价值的 ML 方法，需要换设置、换规模后依然成立，也要经得起复现和泛化检验。 这篇论文提出的 MLS-Bench，就是为了评估这个能力。 它覆盖 12 个核心 ML 领域、140 个任务。每个任务都放在受控 scaffold 里，让 Agent 改进一个具体 ML 系统，并在多个泛化设置下评测，最后和同一环境里复现的人类 SOTA 方法直接比较。 这样做的重点是防止 Agent 走捷径：比如改 evaluator、改数据管线、扩大模型容量，或者只在可见验证集上刷分。 结果很现实： 即使强 baseline 已经给到模型，当前 frontier agents 依然没有超过最强 human SOTA。Human SOTA 平均分是 42.6，最好的 Agent 是 Claude Opus 4.6，分数为 36.0；Gemini 3.1 Pro 是 34.9。 更多迭代和更大 test-time search 可以缩小差距，但很难真正弥合差距。模型目前更擅长调参、工程优化和重组已有组件；一旦要求它提出能稳定泛化的新机制，短板就会明显出现。 我觉得这篇论文把 Auto-Research 的门槛讲清楚了。 低成本 verifier 下的大规模搜索，可以帮模型找到更高分的候选方案，但真正的科研还需要科学判断力：知道该验证什么、怎么分配有限算力，以及如何把局部结果变成可信证据。 未来 Research Agent 的核心能力，可能会从「生成 idea」走向「构建证据」。 能写出一个 proposal 只是开始。能在昂贵、不完整、需要复现的验证条件下，把一个方法真正证明出来，才更接近机器学习研究。 📎 arxiv:

最近正在梳理专属于自己的AI编程套件，用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件！直接把结论分享给大家： 1. obra/superpowers 这个应该大家都很熟悉了，superpower已经存在了2年左右 14 个技能硬编码工作流：brainstorming（苏格拉底式提问出 spec）→ writing-plans（拆成 2-5 分钟粒度任务）→ 子代理逐任务实现 + 双阶段评审（5 轮修复上限，超限强制停机裁决） 适合场景：你在意“防 AI 跑偏”多于交互流畅，需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了，我实测下来单环节的效果最好，强烈推荐大家用用，我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说： /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”，而是边问边写 CONTEXT.md 和 ADR（架构决策记录） 举个例子，你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么，然后把这个概念写进 CONTEXT.md，术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词，不用每次都解释一遍 更绝的是：它会拿你的新想法去撞现有的 CONTEXT.md，发现矛盾就当场质疑你 “你上周说 X，这周又说 Y，到底哪个对？” 这个反向质疑机制，是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法，强制你别瞎猜 这个技能解决了 AI 调试最大的问题：跳过复现直接改代码 它强制执行 6 个阶段： 先写一个能让 bug 稳定复现的测试（红灯） 最小化复现场景（删到不能再删） 提出假设（不许直接改代码） 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置，59 个技能，角色分工（CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy） 这个skill我主要吸收以下两块内容： Playwright 驱动真实 Chromium 的常驻 daemon（首次 3 秒、之后每命令 100-200ms，登录态全程保留，/qa 边点页面边改码边复验） careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截，不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过，karpathy的编程准则，非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md，四组守则： Think Before Coding（不静默假设） / Simplicity First（不过度抽象，“200 行能写 50 行就重写”） / Surgical Changes（每行改动可追溯到用户请求，不顺手重构） / Goal-Driven（“修 bug”→“先写复现测试再让它通过”） 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills（16.7 万星，官方仓库） 17 个能力型技能：docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”，不管“怎么工作”，和上面四家不构成竞争 最值钱的是 skill-creator：唯一带闭环评测的技能（自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本） 你以后自己写 skill 时它是标尺 适合场景：/plugin marketplace add anthropics/skills，装 document-skills（pdf/xlsx/docx）；另装 skill-creator 这些套件的共同点是：它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲，现在是在跟 AI 描述你要什么 但 AI 不懂工程规范，所以这些开源作者做的事，本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件，从而适配自己的编程习惯！ 如果这次的分享对你有帮助，欢迎大家点赞支持一下！谢谢大家～

最近正在梳理专属于自己的AI编程套件，用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件！直接把结论分享给大家： 1. obra/superpowers 这个应该大家都很熟悉了，superpower已经存在了2年左右 14 个技能硬编码工作流：brainstorming（苏格拉底式提问出 spec）→ writing-plans（拆成 2-5 分钟粒度任务）→ 子代理逐任务实现 + 双阶段评审（5 轮修复上限，超限强制停机裁决） 适合场景：你在意“防 AI 跑偏”多于交互流畅，需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了，我实测下来单环节的效果最好，强烈推荐大家用用，我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说： /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”，而是边问边写 CONTEXT.md 和 ADR（架构决策记录） 举个例子，你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么，然后把这个概念写进 CONTEXT.md，术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词，不用每次都解释一遍 更绝的是：它会拿你的新想法去撞现有的 CONTEXT.md，发现矛盾就当场质疑你 “你上周说 X，这周又说 Y，到底哪个对？” 这个反向质疑机制，是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法，强制你别瞎猜 这个技能解决了 AI 调试最大的问题：跳过复现直接改代码 它强制执行 6 个阶段： 先写一个能让 bug 稳定复现的测试（红灯） 最小化复现场景（删到不能再删） 提出假设（不许直接改代码） 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置，59 个技能，角色分工（CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy） 这个skill我主要吸收以下两块内容： Playwright 驱动真实 Chromium 的常驻 daemon（首次 3 秒、之后每命令 100-200ms，登录态全程保留，/qa 边点页面边改码边复验） careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截，不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过，karpathy的编程准则，非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md，四组守则： Think Before Coding（不静默假设） / Simplicity First（不过度抽象，“200 行能写 50 行就重写”） / Surgical Changes（每行改动可追溯到用户请求，不顺手重构） / Goal-Driven（“修 bug”→“先写复现测试再让它通过”） 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills（16.7 万星，官方仓库） 17 个能力型技能：docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”，不管“怎么工作”，和上面四家不构成竞争 最值钱的是 skill-creator：唯一带闭环评测的技能（自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本） 你以后自己写 skill 时它是标尺 适合场景： /plugin marketplace add anthropics/skills，装 document-skills（pdf/xlsx/docx）；另装 skill-creator 这些套件的共同点是：它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲，现在是在跟 AI 描述你要什么 但 AI 不懂工程规范，所以这些开源作者做的事，本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件，从而适配自己的编程习惯！ 如果这次的分享对你有帮助，欢迎大家点赞支持一下！谢谢大家～

推荐这个工具，autoresearch——一个 Claude Code skill。 把 Karpathy 的 630 行 Python 自主实验脚本泛化成了 14 个命令的通用 agent 循环：你给一个目标和指标，它自主迭代到完成为止。 核心循环 LOOP (N 轮或直到完成): 1. 审视当前状态 + git 历史 + 结果日志 2. 选择下一个改动（基于之前什么有效、什么失败、什么还没试） 3. 做一次聚焦的改动 4. Git commit（验证之前先提交） 5. 运行机械验证（测试、benchmark、分数） 6. 如果改进 → 保留。如果变差 → git revert。如果崩溃 → 修复或跳过。 7. 记录结果 8. 重复 每次改进叠加。每次失败自动回滚。进度记录为 TSV 格式。 v2.2.0 新增：自主编排器 不再需要手动设置 Goal / Metric / Verify。直接输入一个自然语言目标，编排器自动分类目标、推导 Success 谓词、与你确认一次，然后在 14 个子命令之间自主编排，直到完成。 14 个命令 | 命令 | 用途 | |------|------| | /autoresearch | 核心迭代循环，或自主编排模式 | | /autoresearch:plan | 把目标转化为验证过的配置 | | /autoresearch:debug | 假设驱动的自主 bug 猎手 | | /autoresearch:fix | 逐个击破错误直到归零 | | /autoresearch:security | STRIDE + OWASP 安全审计 | | /autoresearch:ship | 8 阶段通用发布工作流 | | /autoresearch:scenario | 12 个维度的边缘案例探索 | | /autoresearch:predict | 5 个专家角色辩论预测 | | /autoresearch:learn | 自主文档生成引擎 | | /autoresearch:reason | 对抗性辩论精炼（盲审团裁定） | | /autoresearch:probe | 8 个角色对抗性需求审问 | | /autoresearch:improve | 产品改进研究 + PRD 生成 | | /autoresearch:evals | 结果分析：趋势、平台期、收敛信号 | | /autoresearch:regression | 稳定性门禁：baseline vs candidate → STABLE/UNSTABLE | 另有 Guard 机制：在优化某个指标时设置"这个命令必须始终通过"的安全网。 安装 npx skills add uditgoenka/autoresearch 然后重启 Claude Code，14 个命令全部可用。通过 /plugin update autoresearch 升级。 v2.1 架构重写 原来的 SKILL.md 是一个 813 行的单体文件，每次调用消耗约 100K token。v2.1 把它拆成了一个 41 行的路由文件 + 12 个自包含命令文件（每个 94-120 行，每次调用约 5-8K token）。相同功能面，token 减少 95%。 9 个安全 hook 默认全部启用，可单独关闭。覆盖：阻止 node_modules 等目录进入上下文、阻止读取 .env/SSH 密钥、阻止 force-push/rm -rf、压缩后重新注入上下文、子 agent 状态感知等。 GitHub： 参考： #ClaudeCode# #Skill# #AgentLoop#

推荐这个工具，autoresearch——一个 Claude Code skill。 把 Karpathy 的 630 行 Python 自主实验脚本泛化成了 14 个命令的通用 agent 循环：你给一个目标和指标，它自主迭代到完成为止。 autoresearch 是一个 Claude Code skill，把 Karpathy 的 autoresearch 概念（一个 630 行的 Python 脚本，能自主跑通宵 ML 实验）泛化到了任意领域。支持 Claude Code、OpenCode 和 OpenAI Codex。MIT 开源。 核心循环 LOOP (N 轮或直到完成): 1. 审视当前状态 + git 历史 + 结果日志 2. 选择下一个改动（基于之前什么有效、什么失败、什么还没试） 3. 做一次聚焦的改动 4. Git commit（验证之前先提交） 5. 运行机械验证（测试、benchmark、分数） 6. 如果改进 → 保留。如果变差 → git revert。如果崩溃 → 修复或跳过。 7. 记录结果 8. 重复 每次改进叠加。每次失败自动回滚。进度记录为 TSV 格式。 v2.2.0 新增：自主编排器 不再需要手动设置 Goal / Metric / Verify。直接输入一个自然语言目标，编排器自动分类目标、推导 Success 谓词、与你确认一次，然后在 14 个子命令之间自主编排，直到完成。 14 个命令 | 命令 | 用途 | |------|------| | /autoresearch | 核心迭代循环，或自主编排模式 | | /autoresearch:plan | 把目标转化为验证过的配置 | | /autoresearch:debug | 假设驱动的自主 bug 猎手 | | /autoresearch:fix | 逐个击破错误直到归零 | | /autoresearch:security | STRIDE + OWASP 安全审计 | | /autoresearch:ship | 8 阶段通用发布工作流 | | /autoresearch:scenario | 12 个维度的边缘案例探索 | | /autoresearch:predict | 5 个专家角色辩论预测 | | /autoresearch:learn | 自主文档生成引擎 | | /autoresearch:reason | 对抗性辩论精炼（盲审团裁定） | | /autoresearch:probe | 8 个角色对抗性需求审问 | | /autoresearch:improve | 产品改进研究 + PRD 生成 | | /autoresearch:evals | 结果分析：趋势、平台期、收敛信号 | | /autoresearch:regression | 稳定性门禁：baseline vs candidate → STABLE/UNSTABLE | 另有 Guard 机制：在优化某个指标时设置"这个命令必须始终通过"的安全网。 安装 npx skills add uditgoenka/autoresearch 然后重启 Claude Code，14 个命令全部可用。通过 /plugin update autoresearch 升级。 v2.1 架构重写 原来的 SKILL.md 是一个 813 行的单体文件，每次调用消耗约 100K token。v2.1 把它拆成了一个 41 行的路由文件 + 12 个自包含命令文件（每个 94-120 行，每次调用约 5-8K token）。相同功能面，token 减少 95%。 9 个安全 hook 默认全部启用，可单独关闭。覆盖：阻止 node_modules 等目录进入上下文、阻止读取 .env/SSH 密钥、阻止 force-push/rm -rf、压缩后重新注入上下文、子 agent 状态感知等。 GitHub： 参考： #ClaudeCode# #Skill# #AgentLoop#

推荐这篇文章。一个 agent 评测系统被自己的评分骗了整整一周——两个标准在互相拉扯，总分却看起来正常。 Similarweb 的高级 AI 工程师 Liora Korni 在 7 月 29 日 LangChain 博客上分享了一篇实战文章：如何评估一个生成长篇研究报告的 agent 系统。文章的价值不在方法论本身——LLM-as-judge 和 rubric 都不是新概念——而在他们把评估当作产品架构的一部分来做的具体教训。 两种输出，两种评估方式 Similarweb Data Studio 是一个 agent 系统：用户用自然语言提问，agent 规划、调用数据工具、检索数字、写出答案。它要处理两类完全不同的输出： 普通对话：聚焦问题，答案形状可预期。评估方法简单——golden answer + semantic judge 判断"是否表达了同样的意思"。 深度研究报告：长文输出，包含来源、解读、建议、风险提示和叙事结构。同一问题可能有多种好的答案。Golden answer 不适用——匹配 gold answer 只会奖励相似性而不是质量。 Rubric 方案 深度研究报告的评估用 rubric prompts：每个质量维度有自己的评分锚点。例如 source_integration 标准： • 0.0：纯粹依赖单一数据 API，无外部上下文 • 0.3：模糊引用"行业报告"但不点名 • 0.8：引用多个带名称、日期、数字的来源 • 1.0：广泛使用归因明确、融入叙事的来源 每个维度返回分数 + 解释 + 差距说明。不只是一个数字。 除此之外还加了 faithfulness check：每个声明是否真的来自检索数据？还是 agent 夸大了来源支持的内容？ 最贵的教训：花了整整一周跟自己的评估打架 文章里最值得读的部分：一次 prompt 的小改动让总体评分下降。 他们花了一周反复 revert、调整、re-run。报告每次看起来都很好，但数一直在说不。最后有人打开逐标准评论才发现——新版报告引用了更多来源（提高了 source breadth），但这些来源都是模糊的（拉低了 attribution）。两个标准互相拉扯，总分隐藏了冲突。 修复了评分锚点后（从"引用更多来源"改为"引用命名、可验证的来源"），同一个报告的分数从 0.7 降到了 0.3，数值终于匹配了评论一直在说的东西。 核心教训：一个校准错误的评估比没有评估更糟糕，因为它给你虚假的信心。 最终的评估循环 1. 从假设开始 2. 跑一个小评估获取信号 3. 检查反馈评论和 traces 4. 跑完整 benchmark 并重复 5. 与 baseline 或 A/B 输出对比 6. 决定合并、迭代还是重新校准 原文： #AgentEvaluation# #LLMasJudge# #LangSmith#

最近在带入组的本科实习生，发现怎么读论文其实是科研训练里最容易被忽略的一步。 推荐一篇每个科研新人都该读的经典短文：S. Keshav 的 How to Read a Paper。 文章提出了非常实用的“三遍读论文法”： 第一遍，5 到 10 分钟快速扫读：标题、摘要、引言、章节标题、结论和参考文献。 目标是回答 5C： Category, Context, Correctness, Contributions, Clarity。 也就是判断这篇论文是什么、和谁相关、假设是否合理、贡献是什么、写得清不清楚。 第二遍，认真读论文主线，但先跳过证明细节。重点看图表、实验设置、结果是否清楚、引用了哪些关键工作。 第三遍才进入深度理解：尝试像复现一样重建作者的思路，检查假设、方法、创新点和潜在漏洞。 放在今天看，这个方法和 AI 辅助读论文其实很契合。 第一遍可以让 AI 帮忙快速总结论文的研究问题、核心贡献和主要结论，但自己一定要判断这篇文章是否真的值得继续读。 第二遍可以让 AI 帮忙解释方法、实验设置、图表和不熟悉的概念，但不能只看 AI 总结。关键图表、实验设计和结果数字一定要回到原文核对。 第三遍可以让 AI 扮演 reviewer，帮你追问：这篇文章的假设是否成立？实验是否支持结论？有没有 missing baseline？有没有潜在的数据泄漏、评价偏差或过度 claim？ 读论文不是“读完”就行。真正重要的是知道什么时候快速跳过，什么时候认真理解。 尤其在 AI 工具越来越强的情况下，科研新人更需要训练自己的判断力。 AI 可以帮你压缩信息，但不能替你决定一篇论文是否重要、是否可信、是否值得借鉴。