登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents AI Agent Product Development Sharing AI tech insights DM for collab 📩
参加 November 2020
658 フォロー中    14K ファン
这篇论文很有意思!现在连 RSI 都开始有自己的「实验场」了。 Evolvent AI 和 NUS 这篇论文提出 RSIGym,一个专门让 Agent 研究「怎么改进 AI」的实验环境。 它把训练、推理、数据生成、评测和沙盒都封装成服务。Research Agent 可以直接调用这些能力,然后不断循环: 分析问题 → 改数据 / 训练配置 / Harness → 训练 → 评测 → 根据结果继续修改。 更有意思的是,它把自我改进拆成三种模式: Data 只允许改训练数据; Harness 只改模型外的运行系统; Joint 则把数据、训练配置和 Harness 一起开放给 Agent。 作者还提出 RSI-Index,衡量系统在 SWE-bench、Terminal-Bench、AIME、GPQA 和 SkillsBench 上填平了多少「距离满分的差距」。 在每个 benchmark $500 的预算下,6 个前沿研究模型都能让初始系统变强。 其中 Opus 5 的 RSI-Index 最高,达到 0.4809;SWE-bench Verified 从 17.67% 提升到 50.33%,AIME 从 31.67% 提升到 97.78%。 还有一个挺有意思的结果,只改 Harness 就能带来明显提升,而单独增加训练数据的效果很有限。 看完这篇,我觉得 RSI 正在从一个很抽象的概念,慢慢变成可以真正做实验的系统问题。 接下来值得看的,就是这些「改进」能不能被继承,并继续帮助下一轮产生更好的改进。 📎 arxiv:
もっと見る