註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
加入 November 2020
744 正在關注    16.1K 粉絲
现在用 AI 自动做科研,最怕的其实是一处没人发现的 bug: 后面十轮实验,可能全建立在一个假结果上。 这篇 RankEvolve 研究的,就是 Auto-Research 里的「执行可靠性」。 长时 ML 实验中,Agent 很容易引入数据泄漏、漏掉归一化、断开梯度,甚至配置根本没生效。代码能跑、指标也正常,但实验已经失真。 RankEvolve 主要做了三件事: 把研究流程编译成可执行的状态机,强制 Agent 按协议推进; 让 Claude Code、Codex、OpenHands 等不同 Coding Agent 互相 review 和 repair; 保存每轮 patch、配置、指标和失败经验,避免后续重复踩坑。 在相同预算下,异构 Agent 协作把执行正确率从 45.8% 提升到 62.5%。 连续 12 轮自动研究后,在 MovieLens-20M LARGE 上,NDCG@10 比公开基线提升 4.48%。 所以 Auto-Research 跑得越久,越要先保证每一轮实验都值得相信。 否则「自我进化」很容易变成持续放大一个早期错误。 📎 arxiv:
顯示更多
0
10
146
28
轉發到社區