同一个 27B 模型,只是换不同 Harness,能解出来的题居然差这么多。
这篇论文提出 Recursive Self-Rewrite(RSR),想把 Harness 帮模型获得的能力,真正写回模型自己。
作者先让 Qwen-3.8-27B 在三套不同 Harness 下跑近 3000 个终端任务。不同 Harness 擅长的任务并不一样,合起来覆盖了 759 个成功任务。
但成功轨迹里混着大量 Harness 特有的提示和控制逻辑,直接拿去训练反而效果很差。
RSR 会先把轨迹提炼成 Runbook,只保留关键步骤和恢复策略;再检查答案泄漏,最后让模型在通用 Harness 和全新环境里重新执行。
只有重新跑通的轨迹,才进入训练集。
最终,2001 条原始成功轨迹扩展成 11094 条验证后的训练轨迹。
在 Terminal-Bench 2 上,pass
@3 从 57.0% 提升到 74.2%;直接用原始轨迹做 SFT 只有 53.4%。
这篇让我更关注 Harness 的另一个价值:
它可以先替模型探索出更好的行为,再把这些经验慢慢内化回模型。
📎 arxiv: