现在用 AI 自动做科研,最怕的其实是一处没人发现的 bug:
后面十轮实验,可能全建立在一个假结果上。
这篇 RankEvolve 研究的,就是 Auto-Research 里的「执行可靠性」。
长时 ML 实验中,Agent 很容易引入数据泄漏、漏掉归一化、断开梯度,甚至配置根本没生效。代码能跑、指标也正常,但实验已经失真。
RankEvolve 主要做了三件事:
把研究流程编译成可执行的状态机,强制 Agent 按协议推进;
让 Claude Code、Codex、OpenHands 等不同 Coding Agent 互相 review 和 repair;
保存每轮 patch、配置、指标和失败经验,避免后续重复踩坑。
在相同预算下,异构 Agent 协作把执行正确率从 45.8% 提升到 62.5%。
连续 12 轮自动研究后,在 MovieLens-20M LARGE 上,NDCG
@10 比公开基线提升 4.48%。
所以 Auto-Research 跑得越久,越要先保证每一轮实验都值得相信。
否则「自我进化」很容易变成持续放大一个早期错误。
📎 arxiv: