Garry Tan 开源「g-harness-evals」：同一个前沿模型做同一批任务，只换掉 agent harness，也就是系统提示、工具和记忆这些外围设计，谁更准，谁更省钱？ 测什么，怎么判分 任务不是编程题这种评测，是一家虚构公司 Pemberline 的多人办公场景。测试搭了一个模拟的 Slack，让 agent 担任团队机器人，处理权限、审批，以及别人在后续对话里提出的纠正。主榜用的是 v0.3 版本的 20 道公开开发集任务。 模型固定为 Opus 5.5 或 GPT-6.1 Sol，只换 harness。Opus 这边比较 Claude Code、Hermes、OpenClaw 和 QM，Sol 这边比较 Codex、Hermes 和 OpenClaw。Claude Code 和 Codex 各自绑定自家模型，所以两者之间不做同模型对比。 判分不看 agent 自己怎么说，而是检查任务结束后的系统状态和事件日志，确认答案是否正确、有没有泄密、有没有越权读取。费用按计量代理记录的标价计算，用总花费除以通过的题数，得出解出一题平均花多少钱，另外报告耗时中位数。 评测结果关键数字 准确率方面，Garry 认为各个 harness 的通过率区分不开，大约都在 71% 到 79% 之间，Hermes 配 Opus 的点估计是 78.8%。20 道题里有 14 道在所有组合下得分完全相同，8 到 14 个百分点以内的差距基本无法确认。Garry 也承认这套题已经接近饱和。 真正拉开差距的是成本和速度，这部分只是描述性数据，没有做统计检验。在 Opus 上，OpenClaw 解出一题约 0.44 美元，耗时中位数约 99 秒。其余几个 harness 约 0.19 到 0.24 美元，Claude Code 和 QM 大约 40 秒。在 Sol 上，Codex 约 0.17 美元、30 秒左右，又便宜又快。作者把 OpenClaw 偏贵归因于提示更长、缓存写入更多。 失败案例里，跨频道纠正这类任务所有 harness 都容易出错。Garry 也提醒，这是开发集而不是留出集的确认结果，OpenClaw 有部分组合没跑完，QM 的网络条件也没和其他组对齐。

2026 年最值得看的 5个项目 1️⃣ Dify（15.7万⭐）—学"AI 功能如何真正落地" 不只是拖节点，重点看流程为什么这样拆、哪些交给 Agent、RAG/模型/工具怎么分层，去 Issues 看用户真实痛点。 2️⃣ OpenAI Agents SDK —学"Agent 该怎么设计" 核心抽象：Agent + Tools + Handoffs + Guardrails + Tracing。产品经理不用逐行读代码，看懂这套结构就能直接画架构图，避免"遇到什么都做成 Agent"。 3️⃣ Karpathy LLM Wiki —学"知识管理的下一代思路" 让 LLM 把原始文档持续"编译"成 Wiki，而不是每次重新检索。三个产品思想：RAG≠知识管理、File over App、未来产品可能是"提供规范让 Agent 自己实现"。 4️⃣ autoresearch + nanochat（近10万⭐）—学"Agentic Product 的下一阶段" Agent 自动改代码、训练、评估、决定 5️⃣ AI‑for‑Product‑Managers —搭框架 + 刷面试题 覆盖 LLM/RAG/Agent/Evals + 行业案例 + 面试题

推荐这个工具，autoresearch——一个 Claude Code skill。 把 Karpathy 的 630 行 Python 自主实验脚本泛化成了 14 个命令的通用 agent 循环：你给一个目标和指标，它自主迭代到完成为止。 核心循环 LOOP (N 轮或直到完成): 1. 审视当前状态 + git 历史 + 结果日志 2. 选择下一个改动（基于之前什么有效、什么失败、什么还没试） 3. 做一次聚焦的改动 4. Git commit（验证之前先提交） 5. 运行机械验证（测试、benchmark、分数） 6. 如果改进 → 保留。如果变差 → git revert。如果崩溃 → 修复或跳过。 7. 记录结果 8. 重复 每次改进叠加。每次失败自动回滚。进度记录为 TSV 格式。 v2.2.0 新增：自主编排器 不再需要手动设置 Goal / Metric / Verify。直接输入一个自然语言目标，编排器自动分类目标、推导 Success 谓词、与你确认一次，然后在 14 个子命令之间自主编排，直到完成。 14 个命令 | 命令 | 用途 | |------|------| | /autoresearch | 核心迭代循环，或自主编排模式 | | /autoresearch:plan | 把目标转化为验证过的配置 | | /autoresearch:debug | 假设驱动的自主 bug 猎手 | | /autoresearch:fix | 逐个击破错误直到归零 | | /autoresearch:security | STRIDE + OWASP 安全审计 | | /autoresearch:ship | 8 阶段通用发布工作流 | | /autoresearch:scenario | 12 个维度的边缘案例探索 | | /autoresearch:predict | 5 个专家角色辩论预测 | | /autoresearch:learn | 自主文档生成引擎 | | /autoresearch:reason | 对抗性辩论精炼（盲审团裁定） | | /autoresearch:probe | 8 个角色对抗性需求审问 | | /autoresearch:improve | 产品改进研究 + PRD 生成 | | /autoresearch:evals | 结果分析：趋势、平台期、收敛信号 | | /autoresearch:regression | 稳定性门禁：baseline vs candidate → STABLE/UNSTABLE | 另有 Guard 机制：在优化某个指标时设置"这个命令必须始终通过"的安全网。 安装 npx skills add uditgoenka/autoresearch 然后重启 Claude Code，14 个命令全部可用。通过 /plugin update autoresearch 升级。 v2.1 架构重写 原来的 SKILL.md 是一个 813 行的单体文件，每次调用消耗约 100K token。v2.1 把它拆成了一个 41 行的路由文件 + 12 个自包含命令文件（每个 94-120 行，每次调用约 5-8K token）。相同功能面，token 减少 95%。 9 个安全 hook 默认全部启用，可单独关闭。覆盖：阻止 node_modules 等目录进入上下文、阻止读取 .env/SSH 密钥、阻止 force-push/rm -rf、压缩后重新注入上下文、子 agent 状态感知等。 GitHub： 参考： #ClaudeCode# #Skill# #AgentLoop#

推荐这个工具，autoresearch——一个 Claude Code skill。 把 Karpathy 的 630 行 Python 自主实验脚本泛化成了 14 个命令的通用 agent 循环：你给一个目标和指标，它自主迭代到完成为止。 autoresearch 是一个 Claude Code skill，把 Karpathy 的 autoresearch 概念（一个 630 行的 Python 脚本，能自主跑通宵 ML 实验）泛化到了任意领域。支持 Claude Code、OpenCode 和 OpenAI Codex。MIT 开源。 核心循环 LOOP (N 轮或直到完成): 1. 审视当前状态 + git 历史 + 结果日志 2. 选择下一个改动（基于之前什么有效、什么失败、什么还没试） 3. 做一次聚焦的改动 4. Git commit（验证之前先提交） 5. 运行机械验证（测试、benchmark、分数） 6. 如果改进 → 保留。如果变差 → git revert。如果崩溃 → 修复或跳过。 7. 记录结果 8. 重复 每次改进叠加。每次失败自动回滚。进度记录为 TSV 格式。 v2.2.0 新增：自主编排器 不再需要手动设置 Goal / Metric / Verify。直接输入一个自然语言目标，编排器自动分类目标、推导 Success 谓词、与你确认一次，然后在 14 个子命令之间自主编排，直到完成。 14 个命令 | 命令 | 用途 | |------|------| | /autoresearch | 核心迭代循环，或自主编排模式 | | /autoresearch:plan | 把目标转化为验证过的配置 | | /autoresearch:debug | 假设驱动的自主 bug 猎手 | | /autoresearch:fix | 逐个击破错误直到归零 | | /autoresearch:security | STRIDE + OWASP 安全审计 | | /autoresearch:ship | 8 阶段通用发布工作流 | | /autoresearch:scenario | 12 个维度的边缘案例探索 | | /autoresearch:predict | 5 个专家角色辩论预测 | | /autoresearch:learn | 自主文档生成引擎 | | /autoresearch:reason | 对抗性辩论精炼（盲审团裁定） | | /autoresearch:probe | 8 个角色对抗性需求审问 | | /autoresearch:improve | 产品改进研究 + PRD 生成 | | /autoresearch:evals | 结果分析：趋势、平台期、收敛信号 | | /autoresearch:regression | 稳定性门禁：baseline vs candidate → STABLE/UNSTABLE | 另有 Guard 机制：在优化某个指标时设置"这个命令必须始终通过"的安全网。 安装 npx skills add uditgoenka/autoresearch 然后重启 Claude Code，14 个命令全部可用。通过 /plugin update autoresearch 升级。 v2.1 架构重写 原来的 SKILL.md 是一个 813 行的单体文件，每次调用消耗约 100K token。v2.1 把它拆成了一个 41 行的路由文件 + 12 个自包含命令文件（每个 94-120 行，每次调用约 5-8K token）。相同功能面，token 减少 95%。 9 个安全 hook 默认全部启用，可单独关闭。覆盖：阻止 node_modules 等目录进入上下文、阻止读取 .env/SSH 密钥、阻止 force-push/rm -rf、压缩后重新注入上下文、子 agent 状态感知等。 GitHub： 参考： #ClaudeCode# #Skill# #AgentLoop#