分析:scaling law的范式转移:scale-up、scale-out和scale-lean
过去两年,随着ai的发展,质疑scaling law的声音越来越多,但其实scaling law不但一直都在,而且还在不断增强。
如果我们稍微回顾一下历史,从 GPT-3 到 GPT-4,本质上都是在把模型做大——参数更多、数据更多、算力更强。这就是典型的 Scale Up。
但从 GPT-4 开始,大家开始越来越多地讨论“推理”。不是简单的生成,而是多步推理、链式思考、更复杂的问题拆解。
模型能力的提升,不再只是来自参数规模,而是来自推理过程本身的优化。这其实是一个很微妙但关键的变化:行业开始意识到,“怎么用模型”,和“模型有多大”,同样重要。
直到最近,像 OpenCLaw、AutoResearch 代表的agent生态开始大火,本质上已经不是在讨论模型本身了,而是在讨论一个系统。模型只是其中一部分,更重要的是任务如何拆解、如何调用工具、如何在多个步骤中反复执行和修正。
这时候,能力的提升,已经不再主要依赖模型本身,而是依赖结构。通过多次调用、流程编排、工具接入,把原本单点能力扩展成一个可以执行复杂任务的系统。这一阶段,其实就是 Scale Out。
但从推理和agetn生态开始跑起来之后,一个更现实的问题马上出现了:成本。
推理一旦复杂化,Agent一旦进入多步执行,调用次数是指数级增长的。推理成本迅速上升,延迟变得不可接受,底层的内存和带宽开始成为瓶颈。你会发现,问题已经从“能力不够”,变成了“跑不起”。
于是最近这段时间,越来越多的论文和工程实践,都开始研究如何降本增效。
比如 DeepSeek 之前的Engram,Google 最近的 TurboQuant,本质上是在做更极致的存储优化、压缩和效率提升 -- 在不显著增加算力的情况下,让系统变得更强、更便宜、更快。
我们可以把它叫做 Scale Lean。
把这三条路径综合起来,可能更能帮助我们把握行业未来的发展。
最早是 Scale Up 占绝对主导,大家都在拼模型大小。然后是 Scale Out 开始出现,系统能力逐渐成为新的增长点。再到现在,Scale Lean 开始变得越来越重要,因为它直接决定这些系统运行成本。
这三者不是替代关系,而是叠加关系。
更重要的是,Scale Up、Scale Out、Scale Lean 三条路径本身就是一个正反馈系统,它们会互相放大彼此的效果,从而加速整个AI进化。
模型变强(Scale Up),会让Agent系统更少出错、步骤更短、整体能力更稳定,从而放大Scale Out的效果;
而一旦系统复杂度上来,调用次数暴增,成本问题就会被迅速放大,这又反过来逼着整个行业去做效率优化,也就是Scale Lean。
等到效率真的被做下来之后,事情又会发生变化——更低的成本、更高的吞吐,会让更复杂的Agent系统变得可行,同时也让模型可以被更频繁地调用、训练和迭代,进一步推动Scale Up。
于是这三者之间形成了一种很典型的正反馈:Up让Out更强,Out逼Lean进化,Lean又反过来加速Up和Out。
AI的发展不再是单一变量的线性推进,而是一个多变量耦合的加速系统,一旦三个方向同时往前,整体能力的提升就很容易从“渐进式”变成“跳跃式”。
基于以上的讨论,我们可以得出一个结论,ai能力的增长速度,不但没有放缓,还在加速。
scaling law不但没有装墙,反而驶上了快车道。
顯示更多