가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents AI Agent Product Development Sharing AI tech insights DM for collab 📩
가입 November 2020
658 팔로잉 중    14K 팬
Terminal Agent 很容易遇到一种失败是前面修对了 90%,最后一个 hidden test 没过,最终结果还是失败。 这篇 Terminal-RSI 研究的,就是怎么把这种「差一点成功」也变成下一轮真正有用的训练信号。 它交替做两件事。 RSR 会从已经验证成功的轨迹里提炼可复现的做法,再教回 Agent; RPR 则继续用强化学习消化执行反馈,让局部进展可以获得 credit,同时保证「真正完成任务」始终比只通过部分检查更重要。 论文还有一个很细的设计是 Terminal 里一次命令可能吐出几千 token 日志,但期间 Agent 根本没有做新决策。 所以它把信用分配的时间尺度从「token 数量」改到「交互轮次」,避免日志越长,前面的关键决策反而被稀释。 基于 Qwen3.8-27B,经过两轮 RSR + RPR 后,四个 Terminal-Bench 的平均成功率从 20.68% 提升到 50.58%;Terminal-Bench Hard 从 31% 提升到 79%。 我比较喜欢这篇对「失败轨迹」的处理方式。 一次任务没通过终验,不代表前面所有判断都没有价值。 真正好的自我改进系统,应该能把已经走对的部分留下来,同时知道最后为什么还差那一步。 📎 arxiv:
더 보기