注册并分享邀请链接,可获得视频播放与邀请奖励。

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
加入 November 2020
744 正在关注    16.1K 粉丝
Agent 自己改 Harness,最难的其实并不是「怎么改」。 而在于没有标准答案时,怎么知道这次改动到底有没有变好。 Google 团队这篇 Harness²,专门研究开放世界里的 Harness 自进化。 它设计了两层递归。 第一层针对当前任务:先提出 Harness 修改,再让新旧版本在相同条件下执行,通过行为差异判断哪些改动值得保留。 也就是说,它不依赖 ground-truth verifier,也能用真实执行结果来指导修改。 第二层更有意思: 每次改 Harness 的过程也会被总结成经验,记录什么问题、用了什么修改、为什么有效,再拿去指导未来的新任务。 所以它积累的,不只是更好的 Harness,还有「怎么改 Harness」这件事本身。 在 WorkBuddy-Bench、JobBench 和法律 Agent Benchmark 上,单轮改进就能稳定提升 GLM-5 和 Gemini 3.5 Flash,最高分别提升 11.5、4.5 和 11.8 个百分点;继续增加递归预算,表现还能进一步上涨。 我更关注第二层递归。 单次把 Agent 调得更好并不难,真正接近长期自进化的,是系统开始积累「过去怎么把自己调好」的经验。 Harness² 往前走的一步,就是让改进机制本身也开始有记忆。 📎 arxiv:
显示更多