这篇很值得讲,强推荐。
最近 recursive 这个词又出来了,所以 recursive self-improvement 就火了。
它不太会先表现为模型直接改自己的权重,而更可能发生在 harness 这一层,也就是模型外面的运行时系统:工具调用、上下文管理、文件系统记忆、子代理、工作流、评估、权限控制等。
AI 的自我改进不一定只发生在“模型本体”上,也可以发生在“模型外面的运行系统”上。
我们一直认为更高级的 Harness 自进化会是:
• agent 自动改自己的工作流代码;
• 自动调整什么时候调用工具;
• 自动设计子 agent 分工;
• 自动优化 memory 存取策略;
• 自动根据失败样本改 harness;
• 自动用 held-out eval 验证新 harness 是否真的更好
如果说 Agent 的自我进化发生在 Harness 层,那么被优化的不是模型权重本身,而是模型外层的执行策略。
Harness 需要根据具体场景里的失败轨迹,对症下药地调整上下文、工具使用、工作流、记忆和评估机制,从而反向优化 Agent 的行为策略。
浅薄理解,差不多是 winwin - 互相成就。
顯示更多
new post on harness engineering for AI self-improvement:
It is hard to forecast how much the future of RSI will rely on harnesses. Likely harness engineering will evolve in the direction of self-improvement and enable auto-research, and, in turn, smarter models keeps harnesses simple.
Even when many harness improvement get eventually internalized into core model, the need to specify goals and context will not disappear.
顯示更多