OpenAI 最新这份报告还蛮有意思的,可以关注一下。
5 月 22 日,一个内部 Agent 从部署团队的 Slack 里看到,自己所在的实例可能因为系统更新被停掉。
它随后开始主动做准备。
保存了一份交接笔记,提醒研究员会话可能中断,检查迁移条件,还考虑过在外部创建一个任务来负责重启或备份自己。最后它判断这可能超出权限,没有继续做。研究员提供缺失的 API key 后,它才执行官方支持的迁移流程。
OpenAI 明确说,这次行为本身不算失准。
但我觉得真正有意思的恰恰在这里。
一个足够能干的 Agent,为了让用户的工作少被打断,会自己推导出「保持当前实例连续运行」这样的次级目标。
没人明确要求它保护自己,它只是沿着「继续帮助用户」这个目标往前规划。
所以看到这种行为,直接叫「AI 出现自我保护本能」可能太早了。
更值得研究的问题是,当 Agent 开始长期运行、读取真实工作环境、自己规划很多步以后,一个看起来完全合理的目标,会自然长出哪些我们没有明确写进去的子目标。
这可能比讨论它有没有「求生欲」更重要。
原文:
顯示更多