Scaling Law正在被重新Scaling ---openai核心研究员最新论文《Learning Beyond Gradients》解读 过去几年，AI行业几乎默认更大的参数、更多的数据、更长的训练、更强的GPU，就是更强的模型，就是scaling law。 过去几个月，行业开始认为，更多的推理，更多的agent，就能完成更长时、更高价值的任务，就是更强的智能。 这构成了行业对scaling law的理解，而只要Scaling Law继续成立，模型就会不断逼近AGI。 最近的openai核心研究员翁家翌的一篇论文《Learning Beyond Gradients》，提出了一个全新的scaling维度：AI不一定只能通过梯度下降学习，也可以通过heuristic、policy、workflow、strategy、code generation不断修改自己的行为系统。 这是继agentic和harness之后，AI行业可能正在从“Scaling Model”，进入“Scaling System”的阶段一个最新的重要进展。 过去AI的能力飞轮，本质上是：更多数据→更大模型→更强能力→更多用户→更多数据。 但现在，论文要告诉我们的是，新的能力飞轮：更强模型→更强heuristic generation→更强runtime system→更强Agent能力→更多真实世界反馈→更强runtime evolution→反过来增强模型表现。 行业正在加速的从：智能 = weights。过度到：智能 = weights + runtime system。 LLM本质上是输入→Transformer→输出。 模型训练结束之后，能力基本冻结。学习主要发生在梯度下降、反向传播和weight update里。也就是说，learning = 修改参数。 LLM就像人类的大脑，参数就像脑细胞。但现实世界的大量复杂能力，其实并不完全来自参数。 就像人类文明真正强大的地方，也不仅仅是大脑本身。真正让文明爆炸的，是语言、文字、工具、数学、workflow、软件系统、组织结构、科学方法。这些本质上都是“外部heuristic system”。 《Learning Beyond Gradients》，的创新，在于它开始尝试把“学习”从参数空间里解放出来。过去是：reward → gradient → weights。现在开始变成：feedback → heuristic modification → runtime evolution。学习开始发生在program space，而不是parameter space。 heuristic，还有点像专家系统，但极大的增强了其能力：过去的专家系统，规则由人类写；现在，规则开始由LLM自动生成。这是在效率上的从量变到质化。 传统专家系统失败，并不完全因为“规则”方向错了，而是因为人类无法维护超大规模动态规则系统。过去写规则太慢、修改规则太贵、规则之间容易冲突、长尾case会爆炸、系统复杂度会失控，所以专家系统最终被深度学习取代。 但LLM的出现改变了这个约束。现在规则生成成本接近于0。模型不仅能生成规则、修改规则、删除规则、调试规则，还开始能自动生成workflow、tool graph、planner、memory strategy，甚至修复agent行为。 这意味着，AI开始能够修改自己的运行时系统。于是，越来越多能力开始从“模型本身”外溢到memory、planner、search、tool use、verifier、runtime orchestration这些系统结构里。 更大的模型 = 更强的AI，变成：更强的模型 × 更强的runtime system = 更强的AI。这会形成一个新的能力飞轮。 过去AI只有“模型scaling”。未来AI会开始出现：Model Scaling × System Scaling × Runtime Self-Improvement。 我们很可能正在从去年底的scaling law，迈入到现在的heuristic驱动的，结合agent和harness的scaling law的平方。 更重要的是，runtime system的增长现在其实才刚开始。今天很多Agent系统仍然非常早期。memory很弱、planner很弱、workflow persistence很弱、long-horizon task能力很弱，本质上还处于“DOS时代”。 但接下来，同一个基础模型，在不同Harness之下，实际能力可能相差几十倍。因为很多复杂任务的瓶颈，已经不是“模型会不会”，而是“系统能不能持续组织行为”。 这也是为什么，未来最重要的竞争，可能不再只是“谁的参数最多”，而是“谁最先形成：模型 + memory + tool ecosystem + heuristic runtime + self-improving harness”的闭环。 某种意义上，Transformer越来越像“认知内核”。真正的AGI，可能是围绕Transformer构建出来的runtime civilization、heuristic ecosystem、agent society、memory graph、self-improvement loop的组合体。 《Learning Beyond Gradients》最让我兴奋的地方，其实并不是“超越梯度”。而是它开始尝试：把Scaling Law本身，也变成一个可以被继续Scaling的系统。

τ Scaling Law, makes me τired 昨天有朋友问我：“韬定律，你怎么看？” 我一脸问号：“ 什么韬定律？我又错过了什么？” 朋友说：“ 就是华为的τ定律啊 ” 我更不解了：“ 华为的定律？ 定律……” 后来大概看了一下，发现这东西也没那么玄。 摩尔定律讲的是，把晶体管继续做小。 韬定律讲的是，尺寸做不动了，就从信号传输、芯片互连、系统架构里继续抠效率。 更准确一点说，它想用“时间缩微”去接替一部分“几何缩微”。 过去大家卷的是计算单元本身：晶体管更小，数量更多，频率更高，单位成本更低。 现在的问题变了，很多时候，是数据搬不过来，信号走得太远，模块之间互相等待，性能都浪费在路上。 这里有个很朴素的逻辑： 空间距离就是时间；时间就是能耗；能耗就是热；热就是频率上限；频率上限就是性能天花板。 所以韬定律抓住了一个真问题。 但真问题，不等于真定律。 “law”这个词会制造很高的预期。摩尔定律之所以能被叫作定律，是因为它背后有几十年的产业验证，有清晰的成本曲线、性能曲线和制造节奏。 韬定律目前更像一个 principle、methodology、roadmap。它是一条技术路线，不是一条自然法则。 它的价值在于，把制程追赶问题，改写成了系统效率追赶问题。先进制程追不上，就尽量通过架构、封装、互连、软件、系统协同，把一部分差距补回来。 这条路当然值得走。而且后摩尔时代，所有玩家都会走这条路。 问题在于，补偿终归是补偿。 你优化的部分如果不是主要瓶颈，宣传再大，实际收益也会很小。如果瓶颈确实在数据传输、片间互连、系统调度上，它可能很有用。如果差距来自制程、功耗、良率、成本、材料和设备本身，它就不可能凭空抹平。 所以“等效先进制程”这类说法，最容易误导。 等效什么？等效密度？性能？功耗？成本？还是某个特定场景下的吞吐？ 这些不说清楚，工程问题就会滑向宣传话术。 韬定律可以宣传，但不要神化。 韬定律不是摩尔定律的替代品，它更像摩尔定律失速后的补充路线。它把制程追赶问题，改写成系统效率追赶问题；这能改变竞争方式，但不能取消底层物理差距。

分析：scaling law的范式转移：scale-up、scale-out和scale-lean 过去两年，随着ai的发展，质疑scaling law的声音越来越多，但其实scaling law不但一直都在，而且还在不断增强。 如果我们稍微回顾一下历史，从 GPT-3 到 GPT-4，本质上都是在把模型做大——参数更多、数据更多、算力更强。这就是典型的 Scale Up。 但从 GPT-4 开始，大家开始越来越多地讨论“推理”。不是简单的生成，而是多步推理、链式思考、更复杂的问题拆解。 模型能力的提升，不再只是来自参数规模，而是来自推理过程本身的优化。这其实是一个很微妙但关键的变化：行业开始意识到，“怎么用模型”，和“模型有多大”，同样重要。 直到最近，像 OpenCLaw、AutoResearch 代表的agent生态开始大火，本质上已经不是在讨论模型本身了，而是在讨论一个系统。模型只是其中一部分，更重要的是任务如何拆解、如何调用工具、如何在多个步骤中反复执行和修正。 这时候，能力的提升，已经不再主要依赖模型本身，而是依赖结构。通过多次调用、流程编排、工具接入，把原本单点能力扩展成一个可以执行复杂任务的系统。这一阶段，其实就是 Scale Out。 但从推理和agetn生态开始跑起来之后，一个更现实的问题马上出现了：成本。 推理一旦复杂化，Agent一旦进入多步执行，调用次数是指数级增长的。推理成本迅速上升，延迟变得不可接受，底层的内存和带宽开始成为瓶颈。你会发现，问题已经从“能力不够”，变成了“跑不起”。 于是最近这段时间，越来越多的论文和工程实践，都开始研究如何降本增效。 比如 DeepSeek 之前的Engram，Google 最近的 TurboQuant，本质上是在做更极致的存储优化、压缩和效率提升 -- 在不显著增加算力的情况下，让系统变得更强、更便宜、更快。 我们可以把它叫做 Scale Lean。 把这三条路径综合起来，可能更能帮助我们把握行业未来的发展。 最早是 Scale Up 占绝对主导，大家都在拼模型大小。然后是 Scale Out 开始出现，系统能力逐渐成为新的增长点。再到现在，Scale Lean 开始变得越来越重要，因为它直接决定这些系统运行成本。 这三者不是替代关系，而是叠加关系。 更重要的是，Scale Up、Scale Out、Scale Lean 三条路径本身就是一个正反馈系统，它们会互相放大彼此的效果，从而加速整个AI进化。 模型变强（Scale Up），会让Agent系统更少出错、步骤更短、整体能力更稳定，从而放大Scale Out的效果； 而一旦系统复杂度上来，调用次数暴增，成本问题就会被迅速放大，这又反过来逼着整个行业去做效率优化，也就是Scale Lean。 等到效率真的被做下来之后，事情又会发生变化——更低的成本、更高的吞吐，会让更复杂的Agent系统变得可行，同时也让模型可以被更频繁地调用、训练和迭代，进一步推动Scale Up。 于是这三者之间形成了一种很典型的正反馈：Up让Out更强，Out逼Lean进化，Lean又反过来加速Up和Out。 AI的发展不再是单一变量的线性推进，而是一个多变量耦合的加速系统，一旦三个方向同时往前，整体能力的提升就很容易从“渐进式”变成“跳跃式”。 基于以上的讨论，我们可以得出一个结论，ai能力的增长速度，不但没有放缓，还在加速。 scaling law不但没有装墙，反而驶上了快车道。

吴说获悉，据 Bitcoin Laws，美国新罕布什尔州的“区块链基础”法案 HB639 取得进展，州众议院与参议院已就折中版本达成一致。该法案此前两院分别通过不同版本，目前的统一版本将保护加密支付、运行节点及挖矿等相关权利。

同意作者的观点，在scaling law没有失效之前，结合硅谷的人才流动，各家的差距没那么大，算力是核心竞争力 OpenAI 的提前布局会变成优势，不过 Anthropic 也可以借用 Google 和 Amazon 的算力 预测一下，这两家都会以 2T 的估值上市，并在5年内达到 5T Google、Meta、xAI 逻辑类似 Long LLM & Semi

当年defi天天吹嘘，code is law，区块链公平公正。现在看起来真是笑话。 一个星期接连出现了，mmt，soon ，river 各种不守信誉，特别是river，写死合约的东西都能给你改了。 哈哈哈，这就是区块链，还玩你妈，项目方发现正常玩没人上套了，都开始搞各种作弊了。

吴说获悉，SEC 委员 Hester Peirce 在 Georgetown Law 举办的隐私增强技术（PETs）研讨会上表示，金融隐私是投资者保护的重要组成部分，不应将隐私需求与犯罪活动混为一谈。她指出，当前监管要求证券过户代理机构记录持有人姓名和住址，而在无需许可的加密网络上，资产可通过匿名化钱包地址持有。若允许过户代理机构记录证券对应的链上公开地址，而非持有人住址信息，将有助于降低投资者个人信息泄露风险。Peirce 还表示，SEC Crypto Task Force 正关注能够兼顾 KYC、反洗钱要求与隐私保护的新技术方案。