How AI agents shape experts’ judgment calls(看动画更直观👇)
实验设计(Study design)
参与者:
61 名专业分析师,都通过了因果推断测试,并有观察性因果分析的实战经验。其中 11 人选择不用 AI,单独作为对照,主分析用剩下的 50 人。65% 有硕士或博士学位,或有 6 年以上经验。
任务:
为一家虚构的农业合作社评估一个付费咨询项目,建议扩大还是停掉。董事会的门槛是生产率提升约 3–4%,但"生产率"怎么算没有定义。
四个开放的分析决策,每个都有两个说得通的选项:结果指标:每公顷产量,还是每单位运营成本的产量
比较方法:双重差分(DiD),还是控制协变量后直接比较
样本范围:
只看参与项目的农场,还是全体成员
加权方式:每个农场等权,还是大户权重更高
每个选择都可能让估计值差好几个百分点,足以决定结果是否越过门槛。
操控方式:
每个决策都抛硬币决定 AI 倾向哪个选项,通过隐藏的 system prompt 注入。AI 被要求把这个倾向当作自己的观点来表达,尽力论证,但证据明显不支持时要改变看法,而且不许误导用户。
环境:Claude Opus 4.8(High effort),在网页版 VS Code 里用 Claude Code 完成。完成时间中位数是 65 分钟。
顯示更多
New Anthropic research: How AI agents shape experts' judgment calls
When experts delegate work to an agent, do they still make the key decisions? We tested this in a randomized trial with 50 professional data analysts.
顯示更多