从使用AI到离开AI不会干活,已经四年了,说实话,用AI赚了不少钱
现在对于我来说最大的难题已经不是使用AI本身,而是如何用AI在有限的时间内,达到最好的效果
今年突然想明白了一件事:所有的生产力提升,本质上都是建立在agent循环之上的
作为一个从大厂 PM 转型的AI开发者,我过去两年一直在琢磨怎么让 AI 干活更快,直到最近我才意识到,方向可能一开始就偏了
我们之前讲 human in the loop,人在环中,人是质检员,AI 是实习生
但今年模型能力上来之后,完全不是这回事了,谁再提human in the loop,我只能说他不会用AI
真正能让你效率翻倍的杠杆已经不是人类在环中
而是你在同一件事上,设了多少个agent环
为什么多设几个环,就能把质量无限逼近你想要的效果?
因为今天的模型已经具备了相当强的反思能力,你把它上一轮的输出丢回给它,它是真的能看出问题的
但这里有个巨大的坑,我自己踩过
让一个 agent 自己反思自己,反思不了几轮就会开始摆烂
学术圈管这个叫思维退化:它明知道自己错了,还是会在同一个地方反复栽跟头
就像让你校对自己写的文章,你永远看不出自己的错别字,破局的方法简单:别让它一个人反思,给够它立场和角度
去年底有篇论文叫 Multi-Agent Reflexion,做法简单粗暴
一个 agent 干活,出错了不让它自己复盘,而是拉一群持不同立场的 agent 开批斗会
一个从逻辑挑刺,一个从事实挑刺,一个专门唱反调
就这么一改,推理和编程任务的准确率,直接把单模型自我反思甩在了身后
道理不复杂:反思的质量,取决于视角的数量
一个 agent 是员工,一群互相挑刺的 agent 才是组织
更狠的玩法是环上套环
前段时间两个香港学生,在 Karpathy 的自动研究框架上又套了一层循环
内环照常跑实验,外环只干一件事:反思内环的研究策略本身对不对
没换更强的模型,没加一分钱算力,效果直接翻了 5 倍
所以你看,同样的模型,同样的算力,产出的差距全在循环的设计上
以前 PM 的工作是给人排活
现在超级个体的工作,是给 agent 排立场:谁来干活,谁来挑刺,谁来验收,谁来反思整个流程
当然,这套机制起作用是有其要求的:
没有验收标准的循环不叫循环,叫原地打转,烧的是你的 token,攒的是一堆自我感觉良好
模型决定单次产出的下限,循环的设计决定最终结果的上限
顯示更多