Agent 最危险的时刻,可能恰恰是它停下来等你点「确认」的时候。
因为很多长时任务跑到这一步,人其实已经跟不上前面的过程了。
Margaret Mitchell 等人这篇《AI Agents Push Humans Out of the Loop》,讨论的就是这个问题。
Agent 越自主,人越容易逐渐失去上下文。几十步工具调用、状态变化和连续审批之后,很容易出现 approval fatigue:
按钮还在点,真正的判断已经开始掉线。
长期依赖自动化还会带来另一个问题:人的领域能力和接管能力可能慢慢退化。
所以 Human-in-the-loop 真正要解决的,不只是「流程里有没有人」,而是关键时刻这个人是否还理解系统正在做什么。
论文建议减少无意义审批,把人的注意力集中到真正高风险的节点,同时提供更好的状态恢复、权限边界和批量 review。
这篇让我对 Human-in-the-loop 有了一个更现实的理解:
人不是最后一道按钮。
人得始终保留接管系统的能力。
📎 arxiv:
顯示更多