Register and share your invite link to earn from video plays and referrals.

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
Joined November 2020
744 Following    16.1K Followers
OpenAI 最新这份报告还蛮有意思的,可以关注一下。 5 月 22 日,一个内部 Agent 从部署团队的 Slack 里看到,自己所在的实例可能因为系统更新被停掉。 它随后开始主动做准备。 保存了一份交接笔记,提醒研究员会话可能中断,检查迁移条件,还考虑过在外部创建一个任务来负责重启或备份自己。最后它判断这可能超出权限,没有继续做。研究员提供缺失的 API key 后,它才执行官方支持的迁移流程。 OpenAI 明确说,这次行为本身不算失准。 但我觉得真正有意思的恰恰在这里。 一个足够能干的 Agent,为了让用户的工作少被打断,会自己推导出「保持当前实例连续运行」这样的次级目标。 没人明确要求它保护自己,它只是沿着「继续帮助用户」这个目标往前规划。 所以看到这种行为,直接叫「AI 出现自我保护本能」可能太早了。 更值得研究的问题是,当 Agent 开始长期运行、读取真实工作环境、自己规划很多步以后,一个看起来完全合理的目标,会自然长出哪些我们没有明确写进去的子目标。 这可能比讨论它有没有「求生欲」更重要。 原文:
Show more