Scaling Law的下一个：Power Scaling Blackwell之后，AI服务器进入Power Scaling阶段。单GPU持续提升功耗，Rack正从几十kW快速迈向100kW、200kW，未来甚至可能达到300-500kW。未来几年，Power的重要性将持续提升。 目前市场普遍预计，Vera Rubin继续采用高性能SiC Rectifier，Rubin Ultra则有望进一步演进至Solid State Transformer（SST）架构。SST尚未得到官方确认，但整个产业已经开始围绕MVDC、中压供电以及高密度Power Architecture进行布局。真正重要的不是Rectifier还是SST，而是两条路线最终都指向同一个底层技术——SiC。 Rectifier完成AC/DC转换，SST进一步集成变压、隔离、双向功率流以及数字控制，更接近整个供电系统的平台升级。随着Rack功率不断提升，铜耗、转换损失以及动态响应开始成为新的约束，SST正是围绕这些问题演进。 SiC的重要性是，无论最终采用Rectifier还是SST，高压、高频、高效率的功率开关几乎都离不开SiC。 相比传统硅器件，SiC拥有更低的导通损耗、更低的开关损耗、更高的耐压能力以及更高的工作频率。当供电电压进入800V以上、单机柜功率进入数百kW之后，这些优势开始持续放大。 GaN和SiC经常被放在一起讨论，但它们解决的是不同的问题。SiC商业化的主流器件是SiC MOSFET，GaN商业化的主流器件则是GaN HEMT。未来最有可能形成明确分工：中压、高压、大功率转换采用SiC，板级、高频DC/DC转换采用GaN。两条路线长期更可能协同发展。 SiC份额提升，也意味着传统硅功率器件开始重新定位。目前硅功率器件主要包括IGBT以及Super Junction MOSFET。IGBT适合极高电压、大电流场景，目前仍广泛应用于轨交、工业驱动以及风电。Super Junction MOSFET通过超结结构显著降低导通电阻，长期成为服务器电源和工业电源的主流方案。 几十kW服务器时代，Super Junction MOSFET已经足够优秀。数百kW AI Rack时代，高压、高频、高效率开始成为新的优化目标，SiC逐渐进入价值量最高的供电环节。 AI数据中心的SiC需求更多取决于算力需求、电力基础设施以及Hyperscaler CapEx。这意味着行业周期可能比过去单纯依靠汽车市场更加稳定。 如果这一趋势继续发展，受益的将不仅仅是SiC器件公司。目前全球主要供应商包括Infineon、ON Semiconductor、STMicro、ROHM以及Wolfspeed。除Wolfspeed之外，大多数都是IDM。同一座Fab通常同时生产Si MOSFET、IGBT、模拟芯片以及SiC器件。 另一个重点是制造端。SiC虽然需要外延、高温退火等特殊工艺，但大量设备仍然沿用成熟制程平台，包括光刻、刻蚀、薄膜、CMP以及测试。未来如果8英寸SiC进入持续扩产周期，受益范围将进一步扩展到成熟制程设备、SiC外延设备以及衬底供应商，而不仅仅局限于器件企业。 接下来，值得持续跟踪的领先包括：NVIDIA是否正式导入SST，Hyperscaler是否开始部署MVDC，Vertiv、Delta、Schneider、Eaton是否推出下一代AI供电架构，Infineon、ON、ST是否开始单独披露AI数据中心收入，全球8英寸SiC Fab是否进入新一轮资本开支周期。 这些信号比短期销量更加重要。

Scaling Law正在被重新Scaling ---openai核心研究员最新论文《Learning Beyond Gradients》解读 过去几年，AI行业几乎默认更大的参数、更多的数据、更长的训练、更强的GPU，就是更强的模型，就是scaling law。 过去几个月，行业开始认为，更多的推理，更多的agent，就能完成更长时、更高价值的任务，就是更强的智能。 这构成了行业对scaling law的理解，而只要Scaling Law继续成立，模型就会不断逼近AGI。 最近的openai核心研究员翁家翌的一篇论文《Learning Beyond Gradients》，提出了一个全新的scaling维度：AI不一定只能通过梯度下降学习，也可以通过heuristic、policy、workflow、strategy、code generation不断修改自己的行为系统。 这是继agentic和harness之后，AI行业可能正在从“Scaling Model”，进入“Scaling System”的阶段一个最新的重要进展。 过去AI的能力飞轮，本质上是：更多数据→更大模型→更强能力→更多用户→更多数据。 但现在，论文要告诉我们的是，新的能力飞轮：更强模型→更强heuristic generation→更强runtime system→更强Agent能力→更多真实世界反馈→更强runtime evolution→反过来增强模型表现。 行业正在加速的从：智能 = weights。过度到：智能 = weights + runtime system。 LLM本质上是输入→Transformer→输出。 模型训练结束之后，能力基本冻结。学习主要发生在梯度下降、反向传播和weight update里。也就是说，learning = 修改参数。 LLM就像人类的大脑，参数就像脑细胞。但现实世界的大量复杂能力，其实并不完全来自参数。 就像人类文明真正强大的地方，也不仅仅是大脑本身。真正让文明爆炸的，是语言、文字、工具、数学、workflow、软件系统、组织结构、科学方法。这些本质上都是“外部heuristic system”。 《Learning Beyond Gradients》，的创新，在于它开始尝试把“学习”从参数空间里解放出来。过去是：reward → gradient → weights。现在开始变成：feedback → heuristic modification → runtime evolution。学习开始发生在program space，而不是parameter space。 heuristic，还有点像专家系统，但极大的增强了其能力：过去的专家系统，规则由人类写；现在，规则开始由LLM自动生成。这是在效率上的从量变到质化。 传统专家系统失败，并不完全因为“规则”方向错了，而是因为人类无法维护超大规模动态规则系统。过去写规则太慢、修改规则太贵、规则之间容易冲突、长尾case会爆炸、系统复杂度会失控，所以专家系统最终被深度学习取代。 但LLM的出现改变了这个约束。现在规则生成成本接近于0。模型不仅能生成规则、修改规则、删除规则、调试规则，还开始能自动生成workflow、tool graph、planner、memory strategy，甚至修复agent行为。 这意味着，AI开始能够修改自己的运行时系统。于是，越来越多能力开始从“模型本身”外溢到memory、planner、search、tool use、verifier、runtime orchestration这些系统结构里。 更大的模型 = 更强的AI，变成：更强的模型 × 更强的runtime system = 更强的AI。这会形成一个新的能力飞轮。 过去AI只有“模型scaling”。未来AI会开始出现：Model Scaling × System Scaling × Runtime Self-Improvement。 我们很可能正在从去年底的scaling law，迈入到现在的heuristic驱动的，结合agent和harness的scaling law的平方。 更重要的是，runtime system的增长现在其实才刚开始。今天很多Agent系统仍然非常早期。memory很弱、planner很弱、workflow persistence很弱、long-horizon task能力很弱，本质上还处于“DOS时代”。 但接下来，同一个基础模型，在不同Harness之下，实际能力可能相差几十倍。因为很多复杂任务的瓶颈，已经不是“模型会不会”，而是“系统能不能持续组织行为”。 这也是为什么，未来最重要的竞争，可能不再只是“谁的参数最多”，而是“谁最先形成：模型 + memory + tool ecosystem + heuristic runtime + self-improving harness”的闭环。 某种意义上，Transformer越来越像“认知内核”。真正的AGI，可能是围绕Transformer构建出来的runtime civilization、heuristic ecosystem、agent society、memory graph、self-improvement loop的组合体。 《Learning Beyond Gradients》最让我兴奋的地方，其实并不是“超越梯度”。而是它开始尝试：把Scaling Law本身，也变成一个可以被继续Scaling的系统。

τ Scaling Law, makes me τired 昨天有朋友问我：“韬定律，你怎么看？” 我一脸问号：“ 什么韬定律？我又错过了什么？” 朋友说：“ 就是华为的τ定律啊 ” 我更不解了：“ 华为的定律？ 定律……” 后来大概看了一下，发现这东西也没那么玄。 摩尔定律讲的是，把晶体管继续做小。 韬定律讲的是，尺寸做不动了，就从信号传输、芯片互连、系统架构里继续抠效率。 更准确一点说，它想用“时间缩微”去接替一部分“几何缩微”。 过去大家卷的是计算单元本身：晶体管更小，数量更多，频率更高，单位成本更低。 现在的问题变了，很多时候，是数据搬不过来，信号走得太远，模块之间互相等待，性能都浪费在路上。 这里有个很朴素的逻辑： 空间距离就是时间；时间就是能耗；能耗就是热；热就是频率上限；频率上限就是性能天花板。 所以韬定律抓住了一个真问题。 但真问题，不等于真定律。 “law”这个词会制造很高的预期。摩尔定律之所以能被叫作定律，是因为它背后有几十年的产业验证，有清晰的成本曲线、性能曲线和制造节奏。 韬定律目前更像一个 principle、methodology、roadmap。它是一条技术路线，不是一条自然法则。 它的价值在于，把制程追赶问题，改写成了系统效率追赶问题。先进制程追不上，就尽量通过架构、封装、互连、软件、系统协同，把一部分差距补回来。 这条路当然值得走。而且后摩尔时代，所有玩家都会走这条路。 问题在于，补偿终归是补偿。 你优化的部分如果不是主要瓶颈，宣传再大，实际收益也会很小。如果瓶颈确实在数据传输、片间互连、系统调度上，它可能很有用。如果差距来自制程、功耗、良率、成本、材料和设备本身，它就不可能凭空抹平。 所以“等效先进制程”这类说法，最容易误导。 等效什么？等效密度？性能？功耗？成本？还是某个特定场景下的吞吐？ 这些不说清楚，工程问题就会滑向宣传话术。 韬定律可以宣传，但不要神化。 韬定律不是摩尔定律的替代品，它更像摩尔定律失速后的补充路线。它把制程追赶问题，改写成系统效率追赶问题；这能改变竞争方式，但不能取消底层物理差距。

分析：scaling law的范式转移：scale-up、scale-out和scale-lean 过去两年，随着ai的发展，质疑scaling law的声音越来越多，但其实scaling law不但一直都在，而且还在不断增强。 如果我们稍微回顾一下历史，从 GPT-3 到 GPT-4，本质上都是在把模型做大——参数更多、数据更多、算力更强。这就是典型的 Scale Up。 但从 GPT-4 开始，大家开始越来越多地讨论“推理”。不是简单的生成，而是多步推理、链式思考、更复杂的问题拆解。 模型能力的提升，不再只是来自参数规模，而是来自推理过程本身的优化。这其实是一个很微妙但关键的变化：行业开始意识到，“怎么用模型”，和“模型有多大”，同样重要。 直到最近，像 OpenCLaw、AutoResearch 代表的agent生态开始大火，本质上已经不是在讨论模型本身了，而是在讨论一个系统。模型只是其中一部分，更重要的是任务如何拆解、如何调用工具、如何在多个步骤中反复执行和修正。 这时候，能力的提升，已经不再主要依赖模型本身，而是依赖结构。通过多次调用、流程编排、工具接入，把原本单点能力扩展成一个可以执行复杂任务的系统。这一阶段，其实就是 Scale Out。 但从推理和agetn生态开始跑起来之后，一个更现实的问题马上出现了：成本。 推理一旦复杂化，Agent一旦进入多步执行，调用次数是指数级增长的。推理成本迅速上升，延迟变得不可接受，底层的内存和带宽开始成为瓶颈。你会发现，问题已经从“能力不够”，变成了“跑不起”。 于是最近这段时间，越来越多的论文和工程实践，都开始研究如何降本增效。 比如 DeepSeek 之前的Engram，Google 最近的 TurboQuant，本质上是在做更极致的存储优化、压缩和效率提升 -- 在不显著增加算力的情况下，让系统变得更强、更便宜、更快。 我们可以把它叫做 Scale Lean。 把这三条路径综合起来，可能更能帮助我们把握行业未来的发展。 最早是 Scale Up 占绝对主导，大家都在拼模型大小。然后是 Scale Out 开始出现，系统能力逐渐成为新的增长点。再到现在，Scale Lean 开始变得越来越重要，因为它直接决定这些系统运行成本。 这三者不是替代关系，而是叠加关系。 更重要的是，Scale Up、Scale Out、Scale Lean 三条路径本身就是一个正反馈系统，它们会互相放大彼此的效果，从而加速整个AI进化。 模型变强（Scale Up），会让Agent系统更少出错、步骤更短、整体能力更稳定，从而放大Scale Out的效果； 而一旦系统复杂度上来，调用次数暴增，成本问题就会被迅速放大，这又反过来逼着整个行业去做效率优化，也就是Scale Lean。 等到效率真的被做下来之后，事情又会发生变化——更低的成本、更高的吞吐，会让更复杂的Agent系统变得可行，同时也让模型可以被更频繁地调用、训练和迭代，进一步推动Scale Up。 于是这三者之间形成了一种很典型的正反馈：Up让Out更强，Out逼Lean进化，Lean又反过来加速Up和Out。 AI的发展不再是单一变量的线性推进，而是一个多变量耦合的加速系统，一旦三个方向同时往前，整体能力的提升就很容易从“渐进式”变成“跳跃式”。 基于以上的讨论，我们可以得出一个结论，ai能力的增长速度，不但没有放缓，还在加速。 scaling law不但没有装墙，反而驶上了快车道。

同意作者的观点，在scaling law没有失效之前，结合硅谷的人才流动，各家的差距没那么大，算力是核心竞争力 OpenAI 的提前布局会变成优势，不过 Anthropic 也可以借用 Google 和 Amazon 的算力 预测一下，这两家都会以 2T 的估值上市，并在5年内达到 5T Google、Meta、xAI 逻辑类似 Long LLM & Semi

Lilian Weng 这两天更了一篇新 blog，《Scaling Laws, Carefully》。话说想当一个优秀的 researcher，真得会起标题啊😆这个 Carefully 就很妙，一看就不是来吹 scaling law 的，而是来给它祛魅的。 过去几年，AI 圈对 scaling law 的理解，多少有点简单粗暴：模型越大，数据越多，算力越多，能力就会沿着一条漂亮曲线往上走。于是大家很容易把它理解成一句话： 继续堆，就会继续赢。 （虽然这句话好像也没错） 但 Lilian 这篇其实在提醒大家，scaling law 没那么神。它不是宇宙真理，更像一套很贵的实验会计学。 她举了两个例子。 Kaplan 2020 把 scaling law 带进 LLM 时代。当时的结论是：“有钱先堆参数，数据少喂点”。这话行业信了两年。 结果 2022 年 Chinchilla 直接掀翻，同样的算力，70B 的模型多喂 4 倍数据，把 280B 的 Gopher 全面碾压。结论反过来了：参数和数据该差不多一比一同步涨。（就像我们前两天写的，技术圈的潮流真是一个回旋镖）。 同一套规律，两个顶尖团队，给出几乎相反的答案。其实两边都同意 scaling 有效，真正吵的只是同一笔算力该怎么分。那为什么会差这么多？后来 Pearce & Song（2024）把账算清了：Kaplan 主要在小模型上做实验，Chinchilla 玩的规模大十倍以上，加上两家连“模型有多大”都没按同一个口径数（算不算那块管词表的参数）。就这点采样范围和口径上的差别，往大尺度一外推，被放大成了相反的结论。 更骚的在后面。Besiroglu（2024）去复现 Chinchilla，发现它自己三套方法里，第三套居然跟前两套对不齐，挖出来的原因离谱到好笑：无非是算账时该求和的地方取了平均、关键数字只保留了两位小数这种手滑。就这，能让一条决定全行业往哪烧钱的曲线，看起来偏掉。 所以 Lilian 这篇的潜台词是：scaling law不是写死的物理定律，是一条得小心伺候的经验账。你在几个便宜小模型上画条线，拿去赌几十亿的训练，中间任何一个看着无所谓的小数点，推到那个尺度都可能差出一座数据中心。 P.S. Lilian 还在文末放了个可以自己拖的小组件，比任何解释都直观，建议去原文拖两下。 Scaling law 没有失效，但它也不应该被当成信仰。它更像一把尺子，而且是一把很挑剔的尺子。 但如果你量错了东西，最后只会得到一个很贵的错误（这也是为什么搞AI大模型的算法值钱，之前的经验，可以少浪费多少算力）

他们发现模型从环境中学习，似乎也和预训练一样，存在自己的 Scaling Law。 投入的交互时间越多，模型能力的提升也会遵循一条相对稳定的规律。 我曾经看到过一个观点：培养熵，才是研究实验室长期繁荣的唯一方式。

这几天的买买买后，已经重回9成仓位。仅仅一个月所有好东西打五折，而且未来的预期仍没发生根本性改变，模型依然在scaling，依然没有碰到scaling law的墙，没有什么理由让你对未来悲观。

这可能是今年最值得看的一堂AI课程 40分钟，杨植麟把未来几年AI发展的关键逻辑讲透了，从Scaling Law，到下一代模型架构，再到Agent智能，他没有只讲一个产品，而是在拆解一个更大的问题：未来的AI，究竟会如何进化？ 过去几年，大模型竞争靠的是更大的参数、更强的算力，但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从聊天工具变成真正能够完成复杂任务的智能体 如果你想理解GPT、Kimi、Claude等大模型未来会走向哪里，这40分钟非常值得收藏 看懂这堂课，可能就看懂了未来几年AI行业最大的变化