这篇论文很有意思!现在连 RSI 都开始有自己的「实验场」了。
Evolvent AI 和 NUS 这篇论文提出 RSIGym,一个专门让 Agent 研究「怎么改进 AI」的实验环境。
它把训练、推理、数据生成、评测和沙盒都封装成服务。Research Agent 可以直接调用这些能力,然后不断循环:
分析问题 → 改数据 / 训练配置 / Harness → 训练 → 评测 → 根据结果继续修改。
更有意思的是,它把自我改进拆成三种模式:
Data 只允许改训练数据;
Harness 只改模型外的运行系统;
Joint 则把数据、训练配置和 Harness 一起开放给 Agent。
作者还提出 RSI-Index,衡量系统在 SWE-bench、Terminal-Bench、AIME、GPQA 和 SkillsBench 上填平了多少「距离满分的差距」。
在每个 benchmark $500 的预算下,6 个前沿研究模型都能让初始系统变强。
其中 Opus 5 的 RSI-Index 最高,达到 0.4809;SWE-bench Verified 从 17.67% 提升到 50.33%,AIME 从 31.67% 提升到 97.78%。
还有一个挺有意思的结果,只改 Harness 就能带来明显提升,而单独增加训练数据的效果很有限。
看完这篇,我觉得 RSI 正在从一个很抽象的概念,慢慢变成可以真正做实验的系统问题。
接下来值得看的,就是这些「改进」能不能被继承,并继续帮助下一轮产生更好的改进。
📎 arxiv:
显示更多