如果google的2027年11m TPU产能只有3m是给anthropic等客户，其他都是自己建DC = google 自建8m(10GW)，2GW GPU 但明年实际能online芯片和明年芯片产能，有一个季度的时间差 打折算起来就是7GW TPU+1.5GW GPU = 240B+ 80B = 320B 加上没来得及通电的TPU/GPU capex，对应350B+ capex GCP 2027营收增长往80~100%走，这个capex增幅不夸张，能justify

AI半导体终局推演2026(II) 当半导体结构性演进到AI推理主线，内存和存储成为了最大瓶颈，市场对内存和存储最大的怀疑就是： HBM/DRAM/SSD会不会摆脱传统周期性？ 依赖HBM指数增长的GPU架构路线进化路线，会不会停止？什么时候停止？ 长鑫扩产的影响有多大？会不会把这个市场重新带入周期泥潭？ 本篇尝试去建立一个框架来梳理这几个问题 —---------—--------- 万物皆周期，而内存的周期性又特别强，最大的来源在于扩产周期过长，无法快速扩产和需求短缺时期错配 摆脱传统周期性几种可能的方式 1. 定制化：产品不可互换，产能不能随便转移，需要签长约。 2. 结构性的指数级需求增长：需求曲线本身很陡峭，而且供给一直追不上。 3. 技术迭代快速升级：每一代产品都快速淘汰上一代。 满足任何一条，就能部分摆脱传统周期；满足两到三条，就能摆脱大部分传统周期 根据这个框架， HBM在三条里，大概占了两条半 1. 定制化，需要签长约（较弱，算半条） HBM 确实有定制化和Nvidia codesign的成分，但并不是很强。真正定制的部分只在封装和 base die，上面那十几层 DRAM die 仍然是完全 JEDEC 标准化的。 比如当 Samsung 的 HBM3E 在 NVIDIA 的 qualification 上没过、份额从大约 60% 一路跌到 20% 的时候，它并没有把这批产能砸在手里报废，而是转手就供给了 Google 的 TPU、AMD. 物理上，给 NVIDIA 的 HBM3E 和给 AMD 的 HBM3E，是同一个东西。 所以产能仍然是部分可以自由转移的。 HBM4之后的定制化更多一些，包括在 base die 上集成定制逻辑和/或缓存。更复杂的方式是将 HBM4E 内存控制器和定制 die-to-die 接口直接放入逻辑 base die SemiAnalysis 提到 OpenAI、NVIDIA 和 AMD 各自都在做定制 HBM 的工作，但这指的是 base die 的定制，上面的 DRAM 层仍然是标准的。 部分定制化的特性，HBM主要在封装上需要合作，这也导致了客户必须签长约，但产能也确实可以转移，所以HBM 能勉强算半条。 2. 结构性的指数需求增长（满足） 最直观的原因，就是Nvidia token factory token throughput的硬件升级需求，导致了HBM带宽的升级换代极快，以及HBM size需求的指数增长 这一条其实就是上一篇AI半导体终局推演2026(I)的结论： token throughput = HBM size × HBM 带宽，每一代翻倍。 HBM size per GPU大概每年增长40%以上 这条需求曲线的陡峭程度，是DRAM供给端 14% 的 wafer 增长，乘以 9% 的 density 提升，很难追上的 在硬件领域，因为attn阶段KV cahce的极高带宽和极高memory size的要求，也导致了HBM独特的地位。即便是HBM涨价三五倍，把钱花在HBM上带来的边际token throughput提升，仍然比花在其他地方要划算的多。 其他几个Memory路线，SRAM，HBF，CXL，PIM，目前都无法在HBM的主力赛道kv cache/attention上正面竞争，起码未来5年甚至更长时间，不太可能找到替代路线 3. 技术迭代快速升级（满足） DDR3时代过了15年，仍然只是DDR5时代，而HBM的升级换代的速度基本上是两年一代，比传统DDR要快很多很多，而且近来还有加速的趋势，HBM size x HBM BW每一代翻倍，目前是完全符合这个规律的 每两年一代HBM升级，NV GPU速度基本是指数型上升：2TB/s ->3.5TB/s->4.8TB/s ->8TB/s->22TB/s，而且HBM的速度和推理token throughput是完全线性正比的，上一代HBM的边际使用成本会不划算，大家都有动机去尽量用最新的产品，虽然更贵，但是带来的收益(token throughput)是更多的 Token factory时代的逻辑是，技术升级（HBM带宽）的越多，赚的越多 这个速度差，造成了一个和 CPU 类似的局面：旧产品快速贬值，于是囤货的价值在变低，比如说，HBM3的价值贬值的非常快，今天基本上主流产品不会用了 所以HBM 厂商的理性选择，从拼当前的产能去占市场（quantity competition），变成了在稳定性和HBM速度上拼技术，拼下一代在 NVIDIA 平台上的 qualification 份额（quality competition），从而避免了在传统周期的下行波段，大家都不愿减产掉市场份额的囚徒困境。 —--------------—-------------- HBM和传统DRAM比较，三个条件里满足了两个半，那么HBM能摆脱传统周期性吗？ 内存周期性的来源，主流叙事是，DRAM 有Commodity属性（无差异化 → 价格战 →库存可囤积），所以有周期性。 而Commodity属性本身并不产生周期，它只是一个振幅放大器 特别是DRAM领域里，曾经产生过囚徒困境，在下行周期三星曾经扩产抢市场份额，谁先减产谁吃亏，导致谁也不敢轻易减产，最后大家都亏损惨烈 实际上周期性的主要结构性来源是供给周期太长，很容易和需求周期错位。建一座 fab 要 3 年，投资上百亿美元，一旦决策就不可逆，而需求增长会有不稳定性，每次出现新范式增长，比如云服务，移动互联网手机，疫情线上需求，会有爆发式增长，而过了两年增长会放缓，供给高于需求，降价过猛，就变成了亏钱周期 万物皆周期，HBM这一条同样是无法避免，但只要token需求仍然是指数型增长，结构性的指数增长会减弱周期性，因为需求可预测度更好，而且一旦降价，客户就有增大HBM size的需求（从而增大token throughput），加上HBM有一点定制化要求导致都是长约，从而从周期性转化成成长周期性，而且这一轮周期会特别长 周期性：上行周期赚的多，下行周期亏的多 成长周期性：上行周期赚的多，下行周期赚的少 另外，HBM/DRAM在这三条摆脱传统周期的条件的基础上，还有一条重要优势： 4. 因为DRAM密度增长scaling越来越慢，以及HBM升级换代导致DRAM堆叠倍数的增加，供给端的扩产难度持续增加 2000年附近，DRAM每片wafer上DRAM bit密度每年增长大概45%，也就是说，就算晶圆wafer数量不扩产，每年的供给端DRAM bit仍然可以增长45% 十年前，DRAM bit每年密度增长降到了20%，而现在，DRAM bit每年密度增长降到了9%。以前DRAM扩产甚至不怎么需要新建厂房就能得到每年20~30%的bit volume上升，现在DRAM要扩产，更多的是靠wafer数量的增长，也就是新建厂房和clean room。 另外一个HBM快速扩产难度在于，HBM3e大概需要3倍的DRAM wafer晶圆，而HBM4由于堆叠密度的增加，大概需要4倍的DRAM wafer晶圆数量，相当于HBM bit相对于DRAM bit一直变得更难制造，单位DRAM wafer数量制造的HBM bit越来越少，相当于在通缩 ---------------------------------- HBM未来有一天，会不会从成长周期性，变回传统周期性？最重要的因素是结构性指数增长，那么 AI推理时代，这个依赖HBM指数增长的GPU架构路线进化路线，会不会停止？什么时候停止？ token throughput = HBM size × HBM 带宽，这个HBM指数增长的第一性原理里的HBM size的增长原因正是KV cache的增长。KVCache的特性以及Attention的特性,也是非常契合HBM的。甚至让HBM领先于其他的技术路线, 能够最大化地让KVCache和Attention 阶段的利用率。 换言之， 如果KV cache从架构上不存在了，那么HBM size指数增长逻辑也会受到挑战 所以这个问题的本质其实是，这一轮以 Transformer 为代表的 attention 机制、以及由它衍生的 KV cache 机制，会不会消失？退潮之后会不会被取代？ 从历史规律来看：每一次AI模型架构革命，真正被保留下来的，是那些在数学上具有某种普适性的 primitive 操作 举个例子：FFN（前馈网络，也就是模型里大量的 MLP 层）是 2012 年深度学习时代的产物，但它一路活到了今天的大语言模型里，并且仍然占据着模型相当大的参数量。它为什么能活下来？因为这也是一种universal approximation theorem（通用逼近定理）：任何足够宽的 MLP 都能逼近任意连续函数 Attention 大概率也是这样一个会被保留的 primitive。因为它解决的是一个同样 基础的问题：序列sequence 中任意两个位置之间的 dynamic routing（动态路由），让一个序列里任意两个位置都能按需建立联系。这个能力一旦被验证有效，就很难被丢弃 所以即便未来架构从纯 Transformer 向混合架构演进，或者向世界模型演进，但attention 层依然会存在，KV cache（或者它经过 latent compression 之后的等价物）依然需要，HBM依然会作为推理核心之一，这个依赖HBM指数增长的GPU KV cache架构路线进化路线，不会停止 —---------------—--------------- 那么DRAM呢？在未来有没有摆脱传统周期性的可能？ HBM摆脱周期性在市场上有一定共识，但DRAM摆脱周期性，市场目前基本没有共识 还是回到刚才的框架，三个摆脱传统周期的条件里，DRAM是没有定制化的，所以就只能看技术迭代速度，最关键的还是要看，有没有结构性的指数增长，答案是有的 在 AI token factory 这个概念里，结构性指数增长的确实主要是 HBM。但事情在 2025 年年底之后起了变化：随着 agentic CPU开始释放潜力，CPU 附带的那部分 DRAM 需求，正在成为 DRAM 新的结构性指数增长来源 —------ 这部分的增长逻辑分两层：第一层是CPU 服务器TAM的快速增长，第二层是每个服务器CPU core配备的DRAM用量的因为agentic flow快速增长 服务器CPU TAM的快速增长的4个逻辑在4月的CPU专篇详细写过，简单的说： 1. AI 加速器集群里CPU和GPU配比从传统的1：4变成1：2，甚至可能往1：1迈进 2. Agentic flow里CPU处理的延迟占比很高，50~90%成为重要瓶颈，需要同步扩容 3. AI coding让SDE的效率大幅提升，代码量数量级增长，软件API调用指数级增长，直接转化为这部分CPU hours指数级上升 4. Sandbox为保障数据安全与隔离，如Analytical Agent 需为每个任务复制大量数据库和用户上下文，导致内存(DRAM)和CPU核心的严重浪费，而且这个浪费问题五年甚至更久无法解决。另外CPU hours 在技术上很难通过优化的方法来通缩 这也就是为什么，上上个季度，AMD的财报说CPU TAM到2030年会到60B，两个月前，AMD/ARM把CPU TAM的2030年预测翻倍到120B，一个月前，Nvidia再次把CPU TAM的2030年预测翻倍到200B 而上个星期，Bernstein再次提升2030 CPU TAM指引到223B。在我看来，2031 CPU TAM未来上修到400B是没有太大悬念的事情，唯一的悬念是几个巨头会什么时候宣布上修这个指引 再说说第二层，为什么每个服务器CPU core配备的DRAM用量在agentic时代快速增长？ 1. Agent 是带状态的长驻进程，不是无状态的请求-响应 传统 web/SaaS 是 stateless 的：请求进来，分配内存，处理完内存立刻回收。而一个 Agent 任务可以跑 一分钟到一个小时，这整段时间里，它的 message history、system prompt、工作记忆、长期记忆、工具结果 buffer 全部常驻 DRAM 和 CPU hours 一样，每个任务的内存足迹因为 stateful 和 sandbox 隔离(每个任务复制数据库和上下文)的要求，技术上很难压缩 2. 上下文窗口在指数级变长，每个会话的工作集随之膨胀，并发度 × 单会话memory footprint，乘数放大 context window 从 32K → 256K → 1M，reasoning / test-time compute 的序列长度爆炸，未来还会继续增大。每个活跃会话常驻的 messages 随 context 长度线性增长 现在把两层乘起来。 第一层，CPU server 的 TAM，朝 2030~2031 看大概是 5–7 倍的量级(60B → 120B → 200B → 223B，我认为还会到 400B) 第二层，每颗 CPU 的 DRAM 配比，大概 3–4 倍(4~8GB → 16~32 GB/core)，但这个增长可能大部分是一次性红利 两个独立变量相乘，server 侧的 DRAM 需求是数量级的增长 2030年，即便按保守的300B CPU TAM，一个CPU core按$50来算，agent时代最保守按16GB/core，这算出来新增量最少都是96EB，而今年的DRAM总产量只有47EB，明年勉强60EB，这是非常惊人的增量 虽然这个agentic CPU带来的DRAM指数级增长，在第二层很大程度上是一次性红利，但持续时间会持续很久很久，因为这个短缺的缺口实在是太大了 —-------- 回到文章开头那个框架。三个摆脱传统周期的条件里，第一条DRAM 定制化，基本可以忽略 而第二条：一个结构性指数级、而且很难逆转的需求来源是成立的。commodity DRAM 现在也具备了部分摆脱传统周期性的资格。没有 HBM(两条半)那么彻底，但已经是实质性的变化 第三条，技术迭代速度，DRAM的节奏也跟以前不一样了 因为以前的DRAM技术迭代速度是严重依赖消费电子的，DDR的进步对于performance用处并不大，但可预见的未来里，碳基消费的传统DRAM，会远远小于硅基消费（CPU服务器）DRAM的用量 以前DRAM的速度升级带来的边际效用是很低的，但现在因为CPU服务器对memory的需求增大，以及端侧AI对DDR速度的要求也增大，比如苹果为了跑本地大模型，LPDDR速度越来越快 速度升级的边际效用高了不少，所以DDR6和LPDDR6的速度迭代需求比以前提升了太大了，这在图里也可以看到，LPDDR6/DDR6的迭代时间缩短了，而且速度斜率，重新开始抬头 以前新一代DDR/LPDDR技术出来，大家的反应都很冷淡，等降价了才会用 而现在LPDDR6出来，各家恨不得都在抢着能尽量早上就尽量早，因为速度的提升带来的performance提升是触手可及的 ------ 另外，DDR 的供给还要被 HBM 额外抽一道税。HBM 每年的扩产速度太快，导致每年都有一批原本可以做 commodity DDR 的 wafer 被拉去做 HBM，而 HBM 的转换比极低，HBM3E 大约要 3 片 DDR wafer 的产能才能做出等量的 bit，HBM4 是4 片。所以每年大约有 3% 到 5% 的 DDR bit 增长，是被这个 HBM bit tax直接吃掉的 所以DRAM bit volume虽然未来每年能增长24%左右（14%来自wafer增长，9%来自每个wafer的DRAM密度增长），但算上HBM bit tax之后，传统的、非 HBM 的 commodity DDR，每年的 bit growth 大概只有 20%（约 10% 的 wafer 增长 × 约 9% 的 node density 提升） —--------------------- 中国长鑫扩产的影响有多大？如果不讲武德拼命扩产，会不会把这个市场重新带入周期泥潭？ 长鑫这几年的扩产速度还是很快的，2025年还是每个月20万晶圆，2026年北京晶圆厂及新增生产线的贡献就能到32~35万。 正在建设中的上海工厂一期和二期，一期预计到2027年每月新增10万片晶圆产能，二期预计到2028年每月新增10万片晶圆产能，也就是说，2027年每个月42万晶圆，2028年能到每个月50万晶圆。 但需要注意的是，长鑫的dram bit 密度大概只有御三家的一半左右，所以长鑫的每个月50万晶圆wafer能产出的dram bit volume只有其他家的一半，这里计算wafer per month的时候，就按等效一半来算 把这个折扣打上之后，长鑫对整个DRAM行业的冲击还是小了很多，从2025年年底到2028年年底，长鑫对DRAM bit产能CAGR的影响大概只有1.5%，全行业的DRAM产能CAGR大概从12.7%升到14.2% DRAM月产能(kwspm) 2025E → 2028E CAGR Samsung 685K → 920K 10.3% SK Hynix 519K → 725K 11.8% Micron 340K → 560K 18.1% 非中国其他 150K → 218K 13.3% 中国(密度折半) 117K → 274K 32.8% ————————————————— 含中国总计 1811K → 2697K 14.2% 无中国总计 1694K → 2423K 12.7% 就算是长鑫未来还能保持增产速度，2030年对全行业等效产能每年DRAM bit volume增产CAGR的影响，大概也不到3%，从20% CAGR变成23% CAGR，仅此而已 另外，长鑫被光刻机所限制，而DDR6 需要更高速率（14400 MT/s 起步）和更高密度,御三家做 DDR6 大概率会用 1c 或更先进节点（~12nm 以下），已经全面用 EUV。长鑫可能会在DDR6上速率受限，密度也只有一半。 —---------------- 即便是成长性周期，为什么DRAM的这轮超级周期会持续很长时间，起码五年看不到头？ 第一个原因是，刚才谈到的CPU服务器需求端的巨量增长带来的结构性DRAM需求指数增长，这里结合DRAM供给端的bit volume CAGR大概稳定20%增长，就可以很清晰的看到，DRAM未来几年的缺口为什么越来越大： 非HBM的传统DRAM供给端大概是每年增长20%，而需求端，按2026年60B CPU TAM，每个CPU消耗DRAM平均8GB/core，每个core $30~35来算，需求是16EB 2030年按400B CPU TAM，每个CPU消耗DRAM平均16GB/core，每个core $80来算(CPU涨价超过一倍)，需求是80EB，这部分DRAM的增长CAGR大概是50%，远远超过目前的估算 不同于HBM是直接和token throughput挂钩，从而和GPU赚钱效率直接挂钩，DRAM不够对于agent flow的影响主要是速度，比如说，8GB/core和16GB/core比起来，部分workload速度可能降低30%，部分低价值task实在要等等也能忍，结构性指数增长的动机很强，但需求不如GPU那么刚性 Semianalysis说今年的DRAM缺口式个位数百分数，明年是超过10%。从agent CPU数量激增导致的DRAM结构性来看，这个缺口每年都会继续加大，在2030年之前看不到降低的可能 —---- 另外一个DRAM能延续强势很久的逻辑是，因为DRAM涨价之后，被涨价消灭的那部分需求，不是真的消失了，只是延迟了，需求蓄水池太多了。 所谓蓄水池，是指那些"内存一旦降价就会立刻被释放出来的潜在需求"。它们的存在，意味着即便供给阶段性跟上了，价格也很难崩，因为总有新的需求从蓄水池里涌出来接盘： 内存换算力/速度是一个蓄水池： 有大量本来需要靠额外内存来优化速度和算力的需求，在内存太贵时被压着，一旦内存降价就会被释放出来。 比如 Nvidia的CPX prefill 加速，本来的设计初衷是用额外的低成本GDDR7，来做一个专门的prefill加速器，结果LPDDR/GDDR都太贵了，比涨价前的HBM还贵，这个方案的ROI就不划算了，但等到普通内存降价，这样类似CPX的优化方案就还会回来 低价值task是一个蓄水池：内存涨价导致token价格居高不下时，高价值的 task 被优先保留，低价值的 task 被延后；内存一降价，这些被延迟的需求就回来了。 端侧 AI 是一个蓄水池：AI PC 的内存配置可能从 24GB 一路涨到 128GB。苹果已经明确要求最新的端侧AI满血版需要从8GB升级到12GB内存 常规消费电子、Agent PC、低端手机，因为内存涨价而减少的需求，全都是蓄水池。 这么多蓄水池叠在一起，构成了一个极厚的需求缓冲垫。这就是为什么 DDR 这轮的结构性增长，后劲会比市场想象的要强。 —----- 还有一个DRAM价格很难大幅下降的原因在于，HBM和DRAM产能可以互相转换，所以整个DRAM complex是一起re-rate的 在上行期DRAM的利润率远超HBM，HBM的涨价幅度甚至变成了由DRAM去推动。今年新签约的HBM4的价格，就是当期DRAM的价格 x 4，也就是正常堆叠倍数对应HBM4的价格 一旦DRAM降价毛利下滑，因为HBM的长约透明性，利润率都是有保障的，HBM就会间接抽走更多的DRAM产能，HBM的降价也会让GPU厂商更有动力尽可能的升级HBM size，这样也间接保障了DRAM的价格地板 DRAM的结构性指数增长的需求有了，density scaling放缓扩产难度在增加，厂商扩产计划都很谨慎，长鑫这几年带来的影响也是有限的，再加上需求的蓄水池非常庞大，这四个原因导致了，在可预见的至少五年甚至更长时间内，DRAM是很难进入周期低谷的。 —-------------- NAND SSD有希望摆脱传统周期性吗？ NAND 的结构性增长动力没有 DDR 那么强，今年的缺货主要原因是几个主要玩家的生产纪律保持的很好，并没有大规模扩产，每年的产能增加主要来源于技术改进：NAND堆叠层数的增加 第一个结构性增长来自AI，主要来自 KV cache 的 offloading，把HBM溢出的warm/cold KV cache 卸载到 NAND SSD上。 但神奇的事情是，这个kv cache offloading的增长甚至还没有大规模发生，SSD就已经缺的比DRAM还严重了，涨价也比DRAM要更多。等到明年Rubin CMX放量，加上KV cache offloading大规模应用，SSD的缺货也会因为这个结构性增长而增长 第二个，另一个去年年度总结里说到的未来可期的AI视频带来的结构性增量，今年已经有出圈的态势了 Seedance体量在以一年十倍到四十倍的速度增长。目前它还卡在缺卡算力不足的阶段，需求被算力压着没完全释放。但等到缺卡阶段过去，AI 视频对NAND存储的结构性需求增长，会持续相当长的一段时间。 第三个结构性增长也同样来自于agent flow带来的Sandbox使用量的指数级增长，Sandbox为保障数据安全与隔离，如Analytical Agent 需为每个任务复制大量数据库和用户上下文，导致内存(DRAM)和CPU核心的严重浪费，同样会带来大量的SSD的浪费（需求） 第四个也许在2030年之后发挥作用的结构性增长，来自于HBF路线需要用到SSD，在不少投行分析中被寄予厚望，但这个技术路线还有些遥远，主要角色定位只能作为存放大模型的weights，写一次权重然后做只读，而且必须要和GPU/HBM封装在一起（48TBps/96TBps），否则靠PCIE7/8速度太慢完全无法用，只能说未来可期，下一篇AI半导体终局推演2026(III)会有更详细的分析 总之，NAND SSD的结构性增长没有HBM那么强，但是胜在便宜，价格到2027年也只有$0.8/GB，是同期DRAM的四十分之一，所以也算是多级缓存里的万金油属性，结构性增长来源太广泛了 也就是说，不存在DRAM/HBM单独涨价繁荣，而SSD不涨价的情况，因为如果这样的情况发生，那么大家就会想办法用SSD去承载DRAM/HBM的部分功能，用更低的成本实现类似的效果。HBM、DRAM、NAND 不是三个独立故事，而是同一 AI memory hierarchy 在不同温度层的结构性增长 结构性指数增长的需求有了，NAND SSD摆脱周期了吗？ 那么就要看NAND SSD厂家的生产纪律了，唯一可能不遵守生产纪律的，只有长存。毕竟这是一个囚徒困境，一旦有一家不讲武德拼命扩产，整个NAND产业要扩产的难度比DRAM简单的多。 但最起码的，这一轮NAND同样是超级周期，几个结构性指数增长带来的需求，下行期推迟到2030年问题不大

以后这种dram配置削减消息可能会时不时发生，因为不削减，dram就是不够用的 市场第一次听到砍配置，还是很敏感的，以后再多次听到这样的消息就脱敏了 只要算完CPU 200B TAM所需要的DRAM总量，就能很清楚的发现，因为CPU需求暴涨，Nvidia年初原定的17GB/core的计划对DRAM产能增长压力太大了 所以五月的时候，Nvidia就已经被迫做trade off了，如果坚持原来配置，那么Rubin出货速度一定会出问题，到了五月底供应链才爆料出来 另外这个配置应该也是客户可以自选的，如果workload真的瓶颈了，客户自己加上去即可 这不是涨价带来的demand destruction，而是产能不足带来的demand destruction Micron CEO很早就回答过这个问题了：“如果DRAM不够用，那么customer就得自己调整规划，想出办法如何适应更少的DRAM” 市场当时没听懂这意味着什么，从今天的反应来看，还是没听懂这句话 再发生两次，可能就听懂了

以后这种dram配置削减消息可能会时不时发生，因为不削减，dram就是不够用的 市场第一次听到砍配置，还是很敏感的，以后再多次听到这样的消息就脱敏了 只要算完CPU 200B TAM所需要的DRAM总量，就能很清楚的发现，因为CPU需求暴涨，Nvidia年初原定的17GB/core的计划对DRAM产能增长压力太大了 所以五月的时候，Nvidia就已经被迫做trade off了，如果坚持原来配置，那么Rubin出货速度一定会出问题，到了五月底供应链才爆料出来 另外这个配置应该也是客户可以自选的，如果workload真的瓶颈了，客户自己加上去即可 这不是涨价带来的demand destruction，而是产能不足带来的demand destruction Micron CEO很早就回答过这个问题了：“如果DRAM不够用，那么customer就得自己调整规划，想出办法如何适应更少的DRAM” 市场当时没听懂这意味着什么，从今天的反应来看，还是没听懂这句话 再发生两次，可能就听懂了

回看去年对于端侧AI（AI PC）的判断 1. 内存售价过高，而且还在持续快速涨价，到明年再涨两三倍没有悬念，这让端侧设备扩充内存的代价很高，大大延缓了这个进程 2. 端侧AI的生态还没有打造起来，ROI和云端比，暂时不那么好，可能还是需要再等两三年 现在看来，新出现的小龙虾和harness，走通了一个另类的端侧助手的路子，在隐私和聪明的光谱两端中间找到了一个平衡的路径 每次调用API是不会保留用户状态的，stateless的调用避免了被集中式地积累成用户画像，没有显式的用户状态管理 这新开辟的路算是一个killer app，其实对端侧AI PC的市场是一个挤压，意味着传统PC也可以做类似的事情，端侧AI PC需要开通新场景(类似微软recall)或者harness这样的killer app，才能证明购买端侧AI PC的ROI 不然几千刀一个AI PC换隐私，ROI不高，意味着市场会小很多 另外如果harness这样的路径发展太久，端侧AI PC生态仍然没有准备好，那么用户习惯的培养成本也会更高

回看去年对于端侧AI（AI PC）的判断 1. 内存售价过高，而且还在持续快速涨价，到明年再涨两三倍没有悬念，这让端侧设备扩充内存的代价很高，大大延缓了这个进程 2. 端侧AI的生态还没有打造起来，ROI和云端比，暂时不那么好，可能还是需要再等两三年 现在看来，新出现的小龙虾和harness，走通了一个另类的端侧助手的路子，在隐私和聪明的光谱两端中间找到了一个平衡的路径 每次调用API是不会保留用户状态的，stateless的调用避免了被集中式地积累成用户画像，没有显式的用户状态管理 这新开辟的路算是一个killer app，其实对端侧AI PC的市场是一个挤压，意味着传统PC也可以做类似的事情，端侧AI PC需要开通新场景(类似微软recall)或者harness这样的killer app，才能证明购买端侧AI PC的ROI 不然几千刀一个AI PC换隐私，ROI不高，意味着市场会小很多 另外如果harness这样的路径发展太久，端侧AI PC生态仍然没有准备好，那么用户习惯的培养成本也会更高

华为τ scaling定律营销策略，无非是more than moore的广义摩尔定律的另一种说法而已 作为芯片架构师，我更感兴趣的，还是芯片密度提升，ppt上41%能耗提升和12.7%性能提升，到底是怎么实现的 看完了论文，感觉华为这次创新，本质上是用设计复杂度高 + 高制造成本 + 超前散热，一定程度弥补了工艺差距 ----------------- 1. 华为芯片堆叠带来的等效密度提升，是虚假宣传还是真的，是不是工艺突破？有没有实打实的好处？ 等效密度提升的来源，是两片芯片用hybrid bonding技术绑在一起，投影面积理论上能减小一半，但第一代不是全芯片双层折叠，而是选择性折叠关键logic，所以只有大概53%的芯片面积实现了折叠(密度155->238)，等到后面几代折叠面积会逐渐增大，到2030年接近全折叠（密度155->292） 这2026第一代等效密度从 2025 年 155 MTr/mm² 跳到 2026 年 238 MTr/mm²，时钟频率也提升了12.7%，功耗比提升41%，表面上看似乎和工艺突破没有什么区别，但有一点重要区别就是leakage power华为从头到尾没有提，只要工艺节点不变，gate leakage、junction leakage 不会因为 3D stacking 自动改善 2030年到2031年的等效密度突变，大概率是来自于2层堆叠到3层堆叠，正如2025到2026年的等效密度突变，时钟频率突变，来自单层到2层折叠 所以从leakage没提这个事来看，这个2031年等效1.4nm，和工艺节点上的突破没有联系。 本质上是用设计复杂度高 + 高成本 + 超前散热 + 超前部署advanced packaging，一定程度弥补了工艺差距 ----------- 那么这样看起来虚假的等效密度提升，有用处吗？好处在哪里？ 有的，设计上topology折叠，原来要跑几毫米的水平走线，折叠后变成了几十微米。降低了super buffer/bus的长度，降低了clock tree的深度（clock depth -42%、clock wire -28%），clock skew也带来了改良(-25%)，这对动态功耗的改善是实实在在的。部分critical path的缩短，也让时钟频率的上升更容易 所以ppt roadmap上performance的提升，从2025年到2026年上升了12.7%，大部分都是来自于时钟频率的上升（12.7%） 所以好处基本上是topology拆分电路逻辑设计上带来的提升 既然没有实质上的工艺提升，华为芯片堆叠带来等效密度提升的trade off代价在哪里？ 三个代价：散热超前发展，设计复杂度高，制造成本变高 最大的代价就是热密度的同步上升，理论上logic on logic都是CPU execution发热最严重的区域，这部分折叠起来相当于功耗密度直接翻倍，但算上41% power efficiency改善，功耗密度仍只比非堆叠方案高40%左右。所以第一代只能对最关键的部分做折叠，大概只占全芯片面积的53%。 所以散热技术也被逼的超前发展，直接上毫米级的MEMS风扇，做micro-cooling fan。 另外的代价就是设计复杂度的变高，critical path的折叠，哪个部分的logic能折叠，折叠之后又会带来从前端到后端的巨大变化要推翻重来 现有的所有EDA工具也不可能支持3D topology，论文自己也承认，full-scale LogicFolding需要全新的3D-native EDA toolchain，把多层stacked dies当作单一连续设计实体处理。哪些logic能折叠、折叠后的inter-die timing closure怎么做，Physical Design（PD）也是难点 制造成本也会更高，被迫超前部署advanced packaging封装，1.5~2um的hybrid bonding + logic on logic都是很有挑战需要显著更高的成本 以前一层wafer做一次光刻；现在两层wafer分别做光刻再bonding，加上hybrid bonding的overlay控制（论文要求<0.5μm）、TSV、KOZ keep-out zone、冗余修复、良率乘法损失，每颗芯片的制造成本和测试成本都要显著上升 -------------------------- 2. Tau scaling这个说法，scaling的到底是什么，这个scaling技术路线是不是一次性的design topology红利？潜力如何？持续进步的空间在哪里？ τ Scaling的核心主张是：用时间常数τ替代几何线宽作为全栈优化目标，在器件、电路、芯片、系统四个层级分别压缩特征延迟 公式本身没有任何新物理。"关注瓶颈延迟"是所有架构师都在做的事情。整个行业都知道互联RC是延迟瓶颈，TSMC每一代工艺都在用low-k dielectrics/semi-damascene等手段降RC。把一个众所周知的优化方向包装成"定律"是显然的营销宣传手段，本质是More than Moore的广义摩尔定律的另一种说法 抛开marketing，华为目前所谓RC delay的改善，本质上是芯片堆叠之后，topology距离缩短，让匹配的effective RC都变小，不是RC工艺常数 至于scaling的意思，是能持续发展的一条roadmap。这里的持续改善路径指的是，全芯片堆叠的层数越来越多，从25~30年的2层堆叠，到31年开始的3层堆叠，以后甚至会考虑4层堆叠 第一代折叠技术甚至不是全芯片双层折叠，而是选择性折叠关键logic，所以只有大概53%的芯片面积实现了折叠(密度155->238)，等到后面几代折叠面积会逐渐增大，到2030年接近全折叠（密度155->292）。2031年的roadmap之所以会出现一个阶跃，就是因为那是从2层折叠到3层折叠的时间点。 但需要注意的是，这个scaling方法的边际效应是逐渐缩小的，折叠成双层的收益是100%，2->3层的收益就只有50%，如果2035年再从3->4层堆叠，收益就只有33%了 另外随着堆叠层数变高，上面说到的三个挑战，散热，设计复杂度，成本，都是越来越大 --------------------- 3. 华为的芯片堆叠，是不是TSMC/AMD已经有的hybrid bonding技术？华为做到的是cache on logic，cache on cache，还是logic on logic，logic on logic最大的散热问题是怎么解决的？ 是已经有的技术没错，但同时也是把现有技术指标做到了领先也是真的，3D堆叠本身不是新技术，TSMC的hybrid bonding量产还是6um，华为论文给出Kirin 2026的hybrid bonding pitch是1.5μm 我在刚刚看到华为的堆叠消息之后，第一反应也是怀疑和AMD的3D V cache类似，它主要把 SRAM cache 叠在 已经有的L3 cache 区域上，通常会避免直接堆在最热的 CPU execution logic 上，就是避免散热问题，毕竟SRAM 的功耗密度和热点特性与high-activity logic 不一样，如果最热的logic on logic堆叠，散热恐怕会碰到困难 但看了更多数据之后，clock buffer -56%、clock depth -42%、clock wire -28%，这些只有在core内部的clock distribution被重构时才可能发生。纯SRAM stacking不会碰core内部的clock tree。另外如果只是cache on cache，大概率是不需要单独MEMS微型风扇额外散热的，证据普遍都指向logic on logic方式 华为这个技术的精妙之处在于，logic on logic 折叠之后热密度并没有翻倍，而是因为topology的好处，能耗下降了30%，这样热密度只上升了40~50% 而第一代没有完全把整个最热的execution logic 100%堆叠起来，论文也明确说selectively applied along key critical paths，只是大概53%有选择性关键路径会堆叠起来，可能颗粒度都没有那么好，只是IP堆叠在IP上，那么热密度上升也许能维持在20%以内 但这条道路继续前行，超前发展的散热就成了必然，现在是MEMS微型毫米级的主动散热风扇，紧贴处理器传导效率高，和华为手机一样，散热堆料特别足，而且技术领先同行。 以后怕是要把HBM7/8的微流道散热技术提前用起来了，毕竟HBM7/8要上24+层堆叠，华为很可能要在提前用上下个世代的散热技术了 ------------------------- 4. 从架构角度来说，最重要的问题，华为41%的power efficiency（能耗比）提升，到底是怎么实现的？为什么AMD的3D V cache没有这么大的提升？ 首先确定41%的定义。论文只说"SoC performance-core power efficiency improved by 41%"，没有给出benchmark名称、Voltage/Freq点、温度条件、功耗边界。但PPT roadmap上有一个关键线索：ISO-Power Performance的数字，2025年是2.75，2026年是3.1，提升12.7% 这个时钟频率提升12.7%完全一致，可以理解为，同功耗的性能提升是12.7%，绝大部分是时钟频率提升带来的 至于能耗比上优化的猜测是，LogicFolding缩短critical path → 在固定Vdd下Fmax从2.75GHz提升到3.1GHz → 这意味着在原来的2.75GHz频率下，有了约12.7%的timing headroom → 这个空间在iso-performance模式下可以换成更低的Vdd 另外的能耗比的提升，可能也来自于电路折叠之后，cache hit latency的下降。从业界经验来看，一般L2/L3 cache hit latency下降10%，CPU整体性能会有至少5%的提升 ppt里显示SRAM latency下降30%，估计会有一部分转化为cache hit latency的下降 AMD的3D V cache没有这么大的提升，主要是因为AMD的底层logic die并没有重新设计，3D cache的延迟latency不仅没有减小反而加大，只是增加了cache大小，收益不如latency下降那么明显。 另一方面，clock skew的下降,critical路径变短，造成电路timing变好，意味着华为可以使用更低的vdd（猜测甚至能低7~8%），以及路径缩短所带来的RC的下降(考虑到clock buffer -56%、wire -28%、SRAM pJ/bit -24%这些数字，比如C_eff下降10~15%合理)，再加上clock tree的整体缩短和下降，确实是有可能在部分Voltage/Freq点做到同性能下，做到30%的功耗下降的，而30%的功耗下降换算过来就是41%的power efficiency 对比苹果和高通，每一代手机芯片在iso-power下单核性能一般提升10-20%，iso-performance下功耗一般降30-40%，这是V/F曲线的特性决定的，所以从经验上来说，数字是对的上的。 所以这个power efficiency（能耗比）的提升，从现有的数字上来说可以从topology推导出来是合理的，可能真的和工艺节点没有太大关系 ---------------------------- 5. 这个技术路线有没有可复制性，其他家会不会效仿？ 短期内不会大规模效仿，因为性价比和风险收益比来说不好。长期来看，这个方向所有人都在走，只是名字不一样 华为做LogicFolding的根本驱动力是制裁，工艺节点被卡在7nm，只能在封装，散热，和设计层面想办法弥补。华为也为此付出了不小的代价：散热成本，设计复杂度，以及制造成本更高（包括良率）。这是一个被逼出来的路线，不是一个自然选择 其他玩家在用TSMC就能做到正常的经济迭代，是没有必要冒着这个风险，去超前迭代散热技术和设计复杂度的 长期来看，Intel的Foveros、TSMC的SoIC、AMD的MI300的3D stacking都在朝同一个方向走。如果继续追最先进节点的经济性持续恶化，那么"固定一个成熟节点+3D topology optimization"的路线会越来越有吸引力 散热方面，MEMS微型风扇和微流道也会成为未来HBM散热的主流 ------------------- 总结一下，华为这次的创新，绝对是值得尊重的，在制裁环境下，用极高的设计复杂度和成本，在一个被锁定的工艺节点上大胆重新设计，榨出了一次大的topology红利，虽然它有天花板。每多加一层的边际收益递减（堆叠1->2层, 2->3层, 3->4层，提升百分比变小），leakage无法解决，散热越来越难，3D EDA工具链更是全新的挑战。 但这个Tau scaling不是一条可以走十年的指数增长路径，每次爬完一个台阶，下一个台阶更难爬，而且台阶更矮收益更小，华为以后想缩小差距，还得再想想靠什么其他的路线

只要transformer + KV cache在架构上仍然存在 单GPU的HBM就会指数型增长 只要token维持指数增长，基本等价于你说的 1. 需求等价近似无穷大 2. HBM在GPU里的成本会一直占绝对大头 可能等再过几代，单个GPU HBM size达到8T，HBM占整个GPU成本90% 技术原理见引文，欢迎拍砖 所以关键可能并不在于你说的这两点，因为这两点都是可以从第一性原理出发推演出来的。更重要的前提是，token是否真的能继续维持指数增长很多年

几家AI startup其实都是照着上个时代的AI workload来做的，架构在Transformer 成为工业主范式之前就已经形成，到了LLM时代的转型期也挺艰难曲折 比如groq的主要架构基本上是17年就完成了，那是CNN的时代，架构也是以CNN/LSTM为主要的target，当时测试benchmark都是ResNet50，SRAM容量是绰绰有余的 结果进入LLM时代，一个LLAMA 70B模型的参数量占内存就相当于3000个ResNet50，就不够看了。groq幸好在片间延迟做的好，把scale out做出来了，才有了后来come back story的底层基础 到了20~21年，其实传统ML workload市场，ai 加速器已经是一片红海了 ，毕竟对硬件要求没那么高，但好在融资市场环境还很好，过的还不错 到了22~24年，这批SRAM路线的startup处境极其艰难，LLM吃掉了其他路线的份额，整个AI加速器全都是训练份额，推理市场极小，而startup们又完全无法在LLM训练上分到哪怕一点点汤，看不到前景，人员流失特别厉害，太多人在黎明前放弃 到了24~25年开始，AI 推理的市场逐渐被重视起来，startup们才开始慢慢缓过来，靠token速度刷PR，但依旧是叫好不叫座，TCO成本和Nvidia比高出一个数量级而且差距在拉大 到了25~26年，agent发展达到了一个质变拐点，推理token速度终于进入重要KPI，SRAM路线终于又焕发了第二春，Nvidia用LPU推进pareto frontier, Google TPU也开始跟进同样的路线，cerebras并不是LLM native的设计，但胜在多年积累成熟，也拿到了trainium+cerebras和openai的合作 AI startup们在迷雾中模糊的感知到一个远景方向，几经曲折，在各种山穷水尽中反复，实现的路径和方式和最初看到的已经完全不同，终于找到了属于自己的那块拼图的位置 大家也只是在19~20年附近，才开始模糊的感知到the bitter lesson，the scaling law，即便是GPT3把路趟出来了，也还是有如此多的迷雾，又经历了六年，这群AI startup才终于走出来 从后视镜回看，他们并不是精准预见了未来，而是艰难地活到了未来终于需要他们的那一刻。有一种惊心动魄而又柳暗花明的历史美感

几家AI startup其实都是照着上个时代的AI workload来做的，架构在Transformer 成为工业主范式之前就已经形成，到了LLM时代的转型期也挺艰难曲折 比如groq的主要架构基本上是17年就完成了，那是CNN的时代，架构也是以CNN/LSTM为主要的target，当时测试benchmark都是ResNet50，SRAM容量是绰绰有余的 结果进入LLM时代，一个LLAMA 70B模型的参数量占内存就相当于3000个ResNet50，就不够看了。groq幸好在片间延迟做的好，把scale out做出来了，才有了后来come back story的底层基础 到了20~21年，其实传统ML workload市场，ai 加速器已经是一片红海了 ，毕竟对硬件要求没那么高，但好在融资市场环境还很好，过的还不错 到了22~24年，这批SRAM路线的startup处境极其艰难，LLM吃掉了其他路线的份额，整个AI加速器全都是训练份额，推理市场极小，而startup们又完全无法在LLM训练上分到哪怕一点点汤，看不到前景，人员流失特别厉害，太多人在黎明前放弃 到了24~25年开始，AI 推理的市场逐渐被重视起来，startup们才开始慢慢缓过来，靠token速度刷PR，但依旧是叫好不叫座，TCO成本和Nvidia比高出一个数量级而且差距在拉大 到了25~26年，agent发展达到了一个质变拐点，推理token速度终于进入重要KPI，SRAM路线终于又焕发了第二春，Nvidia用LPU推进pareto frontier, Google TPU也开始跟进同样的路线，cerebras并不是LLM native的设计，但胜在多年积累成熟，也拿到了trainium+cerebras和openai的合作 AI startup们在迷雾中模糊的感知到一个远景方向，几经曲折，在各种山穷水尽中反复，实现的路径和方式和最初看到的已经完全不同，终于找到了属于自己的那块拼图的位置 大家也只是在19~20年附近，才开始模糊的感知到the bitter lesson，the scaling law，即便是GPT3把路趟出来了，也还是有如此多的迷雾，又经历了六年，这群AI startup才终于走出来 从后视镜回看，他们并不是精准预见了未来，而是艰难地活到了未来终于需要他们的那一刻。有一种惊心动魄而又柳暗花明的历史美感

这次Meta裁员账本太清晰了 因为内存存储大幅上涨，采购价涨了100亿美元，所以Meta的capex上涨全部来自于这里 Meta这次砍掉8000人和6000个招聘职位，按人均一年70万开支，正好是100亿美元! 2026年新版本：每一个互联网公司的SDE，都应该买入内存和存储，作为职业风险对冲 等下半年内存+存储再来一轮翻倍行情，Meta几乎没有选择要再来一轮10%级别裁员 背景： Meta 2026 capex 从 1150–1350 亿美元 上调到 1250–1450 亿美元，中点从 1250 亿 到 1350 亿，所以是 +100 亿美元。 官方理由是 higher component pricing + 少量额外数据中心成本；同时 Meta 通过裁员和关闭空缺岗位，把 2026 total expenses 指引维持不变

AI半导体终局推演2026(I) 当新token经济学范式从GPU算力转移到HBM 本文从从GPU架构进化路线本质出发，解释这个市场长久以来担心的问题: 每个GPU的HBM内存需求为什么一定会是指数增长，为什么HBM需求指数增长不会停滞? 并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽 同时讨论了，为什么GPU的天花板被HBM的两个发展维度所决定 HBM周期性这个话题争议一直很大，乐观派认为AI带来的需求比以前要大的多，但市场主流仍然认为前几次上升周期也有需求每年20%+增长，这次又有什么不一样呢？AI不影响HBM和传统DRAM一样有commodity属性，一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。 我们可以从算力芯片架构视角,从第一性原理出发，来拆解和推演一下这个问题：为什么这次真的不一样 ------------------------------- 历史：CPU算力时代 很久以来，我们都处在CPU主导算力的时代，CPU的最高级KPI就是performance，跑的更快，所以每一代的CPU都用各种方法来提高跑分，最开始是频率上升，后来是架构演进superscaler等等 这个时候为什么DDR不需要很快的技术进步速度？比如DDR3到DDR5竟然经历了15年之久 因为这个时期的DDR的角色是纯粹的辅助，而且辅助功能极弱，以业界经验，DDR的速度即便是提高一倍，CPU的performance一般只能提高不到20%这个量级 为什么DDR带宽速度提高了用处不大？两个原因 1. CPU设计了各种架构去隐藏 DDR延迟，比如superscaler，加大发射宽度，用海量的ROB和register renaming来提高并行度隐藏延迟，一级缓存cache，二级缓存cache，削弱了DDR的带宽速度需求 2. CPU workload对DDR带宽要求并不高，大部分日常负载比如打开网页，DDR带宽是严重过剩的，甚至云端负载 也就是说，在CPU时代，DDR的带宽速度是不太有所谓的，DDR4和DDR5除了少数游戏就没啥差别，甚至JEDEC标准也进步缓慢。 另外，绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可，app的size增长没那么快，导致对DDR的容量需求也较为缓慢。 所以最近十年来，平均每台电脑上的DDR容量大概从7~8GB变成了23GB，十年只增长了3倍。 而这部分升级缓慢直接影响了营收，size容量计价是赚钱的主要方式，速度的提高只是技术升级，提高size的单价，这两个的升级需求都不大，需求主要是随着电脑/手机数量增长而增长 所以DRAM在带宽速度和容量这两个维度上，一直是都是芯片产业锦上添花性质的附属品，DDR升级带来的边际效用是很低的，跟CPU时代的最高KPI几乎没什么直接联系 -------------------------------------------- 而到了genAI 大模型为主导的新时代，计算范式转移让最高级KPI起了根本变化 GPU发展到AI推理的时代，不再像CPU那样只看跑分，最高级的KPI不再是算力TOPS/FLOPS，而是token的成本，特别是单位成本/单位电力下的overall token throuput 其次是token吞吐速度，因为在agent时代，很多任务变成了串行，token吞吐速度成了用户体验的重要瓶颈。 这也是为什么老黄发明AI工厂概念的原因：最低成本的输出最多token，同时尽量提高token吞吐速度 AI训练时代，老黄的经济学是TCO(total cost ownership)，买的GPU越多，省的越多 而老黄在推理时代的token经济学是： AI推理的毛利润很可观，所以逻辑已经转换成：Nvidia GPU是这个世界上让token单价最便宜的GPU，买的GPU越多，赚的越多 最高的KPI变成了Pareto frontier曲线，在提高token 吞吐throughput和提高token速度两个维度上尽量优化 （见图一） NVIDIA 的 token factory 代际进步，其实是在把整条 Pareto frontier 往右上推，这就是是AI推理这个时代最重要的KPI ---------------------------------- 接下来是本文最重要的逻辑链，如何从token吞吐量指数型增长的本质出发，推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长 单卡GPU推理单线程batch size = 1的时代，token吞吐只有一个维度，就是HBM的带宽速度，带宽速度越高，token吞吐越大 但进入NVL72的年代，推理不再是单卡GPU时代，而是72个GPU + 36个CPU整个系统级别的token工厂，把HBM带宽和算力用满，获得极致的token吞吐量 Token 吞吐throughput的增长，依赖两个东西：同时批处理的请求数 X 每个user请求的平均token速度 也就是batch size X per user token 速度 以Rubin NVL72为例，在平均token速度是100 token/s的情况下，同时批处理1920个请求，得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW（0.12MW）的功率，所以得到单位MW能处理1.6M token/s （见图一） 所以，我们需要想方设法提高这两个参数：批处理数量batch size和per user token的平均速度，这两者相乘就是我们的最高KPI，也就是token的吞吐量 ------- 第一个参数：batch size的增长，瓶颈在HBM size 批处理量里的每一个请求req，都会自带kv cache，这部分kv cache是需要存在HBM里的，大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取，所以必须放在HBM里，比如一个大模型的层数是80层，那么每一个token的生成阶段，都需要读取80次HBM里的kv cache 随着批处理数量batch size的增长，会带来hot kv cache的线性增长 又因为这个批处理量的所有请求的hot kv cache，都要放在HBM上，这也就带来了HBM size必须要随着批处理量batch size线性增长 就像是机场接驳车，登机口尽量快的接旅客到飞机，HBM size小了，相当于接驳车size小了，就得多接一趟 结论是：批处理量的数量batch size，瓶颈依赖于HBM size的增长 --------- 第二个参数：每个user请求的平均token速度，瓶颈在HBM带宽 大模型decode阶段的速度，瓶颈取决于HBM的带宽速度，因为每生成一个 token,都要把激活的权重和kv cache 读很多遍 LPU的出现，在batch不那么大的情况下，把激活权重这个部分搬到了SRAM上，但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高，生成每一个token的速度也就越快，基本上是线性对应的 就像是机场接驳车，登机口尽量快的接旅客到飞机，hbm本身带宽速度就像是接驳车的车门有多宽，门越宽，旅客上接驳车越快 GPU的其他配置，都是在适配batch的增长以及要让token compute的速度配平HBM的增长，甚至会用多余的算力来获得部分的带宽（比如部分带宽压缩技术） —----- 在那个接驳车的比喻例子里 接驳车的车厢大小 = HBM Size（容量）： 决定了一次能装下多少名旅客（也就是能同时装下多少个请求的 KV Cache）。车厢越大，一次能拉载的旅客（Batch Size）就越多。如果车太小，想拉100个人就得分两趟，系统整体的吞吐量就上不去。 接驳车的车门宽度 = HBM Bandwidth（带宽）： 决定了旅客上下车的速度。门越宽，大家呼啦啦一下全上去了（Decode/生成Token的速度极快）。如果门很窄，哪怕车厢巨大能装200人，大家也得排着队一个一个挤上去，全耗在上下车的时间里了。 旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度) —--------------------------- 至此，我们从逻辑上推演出了token经济学的硬件需求第一性原理： Token throughput = HBM size X HBM Bandwidth AI推理这个时代的最高KPI，实际上是高度依赖于HBM的两个维度的进步的 如果要维持token throuput每一代两倍的增长，实际上意味着，每一代的单GPU上，HBM size X HBM BW带宽之积要增长两倍！ 这也是历史上第一次，HBM内存的size可以影响最高的KPI token throughput！ 要验证这个理论，可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput，和HBM size X HBM BW 放在同一个图里比较 （见图二） 可以发现，这两个曲线的走势在对数轴上惊人的一致 HBM size x HBM带宽增长的甚至要比token吞吐量更快，毕竟HBM决定的是天花板，实际上这个天花板增长的利用率utilization是很难达到100%的，也就是说，HBM size x HBM 带宽就算增长1000倍，其他算力和架构的配合下，很难把这1000倍的天花板潜力全部榨干 这条曲线不是巧合，而是系统最优化的必然解 throughput = batch × Bandwidth，这就是token factory 经济学最绕不开的第一性原理 —-------- 软件的影响呢？软件的优化会不会降低带宽的需求？降低HBM的需求？ 这跟硬件是独立两个维度的，这好像在问，如果CPU上的软件优化了之后跑的更快，是不是CPU就十年不用发展了？反正软件跑的更快了嘛 这样的话，CPU厂还能赚得到钱吗？CPU想要存活下去，只有一条路可走，在标准benchmark，不考虑软件优化，每一代CPU必须要跑分更高，不然就卖不出去 GPU也是一样，软件优化如何，和自己的token吞吐量KPI每年都要大幅进步，是两回事 只要token的需求继续增长，对token throuput的追求就绝不会停止，那么对HBM size X HBM 带宽的追求也不会停止 如果HBM size和HBM 带宽发展慢了，老黄一定会亲自到御三家逼着他们技术升级，因为这就是老黄gpu的天花板，天花板要是钉死了不进步，老黄的GPU还能卖出去吗？ 当然了，Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分，比如LPU就是一个很好的尝试，把Pareto frontier从另一个角度改善了很多 （右半边高token速度的部分） —-------------------------------------- HBM内存已然告别了那个随波逐流的旧时代，在这条由指数级需求铺就的单行道上，以一种近乎宿命的方式走到了产业史诗的主舞台中央 推理范式第一性原理演化到这一步，只要老黄还要卖GPU，HBM就必须翻倍，而且必须代代翻倍。这是supply side的内生压力，与AI需求无关，与宏观周期无关，与hyperscaler的心情也无关 剩下的问题，只有一个： 当需求被物理锁定为指数增长的时候，供给侧的三个玩家，会不会还像过去三十年那样，亲手把自己再拖回一次周期的泥潭？

CPU 不能像 memory / optics 那样猛涨价，这个判断在“普通紧缺”场景里是合理的，就像今年年初一样，只有10%的涨价 但他的前提是，每块GPU带几个CPU比例是主要的CPU增量：“如果没有 MI308X，Q4 Data Center 只会比 Street 高不到 1%”这个data point很有价值，充分说明了现在CPU增长的来源，agentic flow带来的增量几乎为零 但是很明显未来并不是这样，软件API调用是指数型上升的，现在还处于完全没有起步的微小阶段 CPU shortage debt会越来越多，早晚要还的，因为这是结构性的比例变化，现在一个agent调用的CPU还不多，以后会越来越多，API就像是GPU的手脚一样，CPU以后会成为结构性瓶颈 每一个GPU产生的token每一代是翻倍的，那么以后每一个GPU能批量同时支持的agent也是越来越多的，也就对应了调用的CPU threads也越来越多，所以CPU不够会成为瓶颈 CPU 还是 capex share loser，这个说法在2026没啥问题，因为现在确实不是瓶颈。但是在agent coding量一年十倍的背景下，以及每一个GPU的token throughput每一代都翻倍的背景下，2027-2028呢？ 我们要用动态的眼光看问题 他的datapoint反而支持了我的论点：我的四个逻辑点里，第一个逻辑点明确强调了，“这部分CPU主要是各家AI 芯片绑定自研，并不是纯粹的CPU服务器，其实不算是外部CPU服务器的机会”，也就是说，软件API调用指数型增长的机会，目前仍然是零的情况下，CPU已经涨价20%，已经供不应求了 那等软件API调用指数型增长的时候，CPU得涨价多少？ PS：抱歉没用英文回复，我用中文回复思路会清晰一些也快一些

CPU 不能像 memory / optics 那样猛涨价，这个判断在“普通紧缺”场景里是合理的，就像今年年初一样，只有10%的涨价 但他的前提是，每块GPU带几个CPU比例是主要的CPU增量：“如果没有 MI308X，Q4 Data Center 只会比 Street 高不到 1%”这个data point很有价值，充分说明了现在CPU增长的来源，agentic flow带来的增量几乎为零 但是很明显未来并不是这样，软件API调用是指数型上升的，现在还处于完全没有起步的微小阶段 CPU shortage debt会越来越多，早晚要还的，因为这是结构性的比例变化，现在一个agent调用的CPU还不多，以后会越来越多，API就像是GPU的手脚一样，CPU以后会成为结构性瓶颈 每一个GPU产生的token每一代是翻倍的，那么以后每一个GPU能批量同时支持的agent也是越来越多的，也就对应了调用的CPU threads也越来越多，所以CPU不够会成为瓶颈 CPU 还是 capex share loser，这个说法在2026没啥问题，因为现在确实不是瓶颈。但是在agent coding量一年十倍的背景下，以及每一个GPU的token throughput每一代都翻倍的背景下，2027-2028呢？ 我们要用动态的眼光看问题 他的datapoint反而支持了我的论点：我的四个逻辑点里，第一个逻辑点明确强调了，“这部分CPU主要是各家AI 芯片绑定自研，并不是纯粹的CPU服务器，其实不算是外部CPU服务器的机会”，也就是说，软件API调用指数型增长的机会，目前仍然是零的情况下，CPU已经涨价20%，已经供不应求了 那等软件API调用指数型增长的时候，CPU得涨价多少？ PS：抱歉没用英文回复，我用中文回复思路会清晰一些也快一些

今天芯片圈最大的新闻，莫过于Gerard在创立Nuvia CPU被高通收购五年之后，重新出发，新创立了ARM CPU公司，名字也跟之前非常像，叫Nuvacore 现在这个时间点做数据中心CPU，确实是赶上了CPU十年来最好的时代: AI agent带来CPU短缺潮已经经隐隐浮现，AWS多个客户都提出要包揽所有Graviton ARM CPU产能 ------------ 这个消息对硅谷的芯片打工人吸引力是巨大的，Nuvacore这次的阵容都是功成名就的明星阵容，以前Nuvia创始团队重新集合，拿了红衫的投资，做面向 AI 基础设施/agentic computing 的通用ARM CPU。当年还是一个尚未完全被验证的大方向都能大获成功，而现在ARM CPU服务器正在风口浪尖上，前景和想象力和2019年Nuvia比起来大了太多了 上一次Gerard把Google，苹果platform architecture组的架构大佬挖了好多过去，这次的号召力只会强得多，240m的融资，已经验证过的路径和创始团队，肉眼可见的下一个增长风口，一定会让Nuvacore成为湾区最热门最受追捧的芯片startup，没有之一。毕竟这是一个肉眼可见能财富自由而且风险收益比极好的机会 ---------- 遥想当年Nuvia第一代CPU的发布赶上苹果M2时代，还是挺震撼的，Nuvia让高通在一年的时间CPU跑分进步了整整三代，单核跑分从2300变成3200，竟然超过了苹果M2 max一大截 可惜Nuvia Phoenix core从发布到最后上市拖了太久太久，中间苹果把牙膏挤爆了连着上市了M3/M4，于是Nuvia CPU上市之后从跟M2比较变成了跟M4比较，从期待中的C位变成背景板了 当年Nuvia的眼光非常超前，在2019年ARM CPU服务器市场占有率几乎为零的情况下，就是想从零开始打通这个市场，2021年被高通14亿美元收购之后，高通也给了无限的资源支持，扩招力度很大，给的薪水都是市面上最高一档的。 可惜大环境在2022年恶化的很快，加上高通的管理层战略眼光实在太差太短视，在业界ARM服务器生态都开始有起色的时候，为了股价节约开支，竟然再一次把自家的Nuvia CPU 服务器团队解散了（算上2015年已经解散过一次ARM服务器团队） 直到2025年，Nvidia的Grace ARM CPU都已经发布四年了，Vera ARM CPU都已经自研好久了，Amazon的ARM CPU Graviton都快占据CPU服务器新出货的50%了，高通才后知后觉谨慎的重启ARM服务器项目 所以这次Gerard从高通的高管位置把之前的创始团队拉出来自己干，可能是因为高通高层战略眼光实在太差屡屡错过机会，上次Nuvia想做ARM服务器，高通的承诺也因为大环境恶化没做数，结果被收购之后被高通取消了项目直接改做了laptop芯片和手机芯片 加上高通今年在手机销量上因为内存和存储历史级的巨额涨价，可以预见要受到重创(市场萎缩30%)，能拿出的扩张预算有限，在高通能拿到的资源是受到掣肘的 而在创业公司里比在 Qualcomm 这种大平台里更容易拿到足够快的决策速度、团队纯度、产品定义权和资本叙事，于是选择在窗口已经被验证时重新集结老班底 但更可能因为，AI时代的CPU前景想象力真的太广阔了，完全值得重新投入一次，不是Gerard变了，而是外部市场变了 ------------------------ 进入2025年之后，AI agent的出现，隐隐让CPU重新变成了瓶颈 CPU服务器重新步入增长轨道，而且潜力巨大，有好几个因素： 1. 随着推理时代的到来，GPU演化到针对推理的系统级新架构，CPU 是永远在忙的总指挥orchestrator, 因为要追求token throughput，所以异构计算阶段变多 + 批处理数量batch越来越大，scheduling/routing/data flow复杂度变高，对orchestration要求也变高 所以在系统级异构推理架构里，AI加速器和GPU在CPU：GPU的配比上，也变得更为激进，从以前的1：4到Grace Blackwell的1：2，以后是很有希望达到1：1的比例的。Google TPU配Axion，Amazon Tranium配Graviton，Nvidia Rubin配自家Vera CPU 这条在我的去年11月半导体年终回顾写过，基本上在2026年成为了共识，虽然这部分主要是各家AI 芯片自研，并不是纯粹的CPU服务器，其实不算是外部CPU服务器的机会 2. 也是同一篇年终回顾里写到的： 从CPU视角去看agentic workload，routing和工具处理都在CPU上，如果把常用的agentic框架做profiling，比如SWE-Agent, LangChain, Toolformer，CPU最长可以占到90%的E2E端到端延迟，throughput瓶颈也更多的卡在CPU，CPU甚至能耗也超过了总能耗的40% Agentic AI目前是一个CPU瓶颈更多的事情，Agent管理很多个CPU，再加上agent经常要开sandbox，很可能会成就CPU需求的新一波回暖 现在回看去年写的这个逻辑，潜力是非常大的。但其实年初可能并没有很大规模发生，年初的CPU增长和各家渲染的CPU短缺潮和这个逻辑暂时关系不大，更多可能是前几年的capex投入GPU的比例太大，造成传统CPU服务器投入不够，所以需求上升是一个回补之前传统服务器投入不够的部分。 但到了下半年甚至2027，agent会开始更广泛的铺开，比如智能导购和客服，已经占到了Amazon去年年底100万CPU采购的相当部分比例，这部分的增长是很快的 前两个逻辑，基本上是今年主流叙事在讲CPU潜力的共识，但是我的感悟是，还有另外两个逻辑被低估了： 3. 造成CPU服务器潜力更大，更长线的主逻辑，可能和agent本身没有直接关系，而是code agent带来的副产物： coding门槛和速度的大幅优化，让“构建软件 + 连接软件 + 调用软件 + 自动化软件”这整件事便宜了一个数量级，Jevons 悖论在software供给端的展开，最终把世界推向更高的软件密度和 API 密度，这直接带来了CPU传统workload的线性上升 从2025年年底开始，coding agent迎来了质变，Claude code迎来了爆发式增长，三个月的token营收增长了三倍，那么导致的下一步必然是Code量的十倍增长,以及App数量的巨量增长 即便是在大厂，每天1m token消耗只能算是个平均水平，人均coding量必然是翻倍的（小厂就是翻十倍了），code供给量暴增，不会只停留在 repo 里，而会逐步变成更多长期运行的软件资产，长期存活的feature变多，product变多，microservice变多，API变多 长线来看，App/API所有的生产成本和生产周期会变成原来的10%，API实现极大富足。那么API的Usage就会大量的上升,这就会造成传统CPU Workload或者说CPU Seconds大量的上升，这甚至和agentic没有直接关系 时间维度上，这个逻辑并不是短期性质，Claude code的爆炸是这几个月刚发生的事情，那么产品上线，microservice，api上线，可能都要向后延迟。当软件变便宜，社会不会少用软件，只会把更多事情软件化 所以也许到下半年甚至更久才会看到，传统cpu云的需求又莫名其妙增加了，表面上看，甚至和AI agent没有直接关系 4. CPU是一个技术上很难通缩的东西，不像内存/存储有很多压缩算法会降低单任务对存储的用量，CPU workload增长转化成硬件需求增长是实打实的 比如说kvcache其实每年都有各种压缩技术出现，老的压缩技术比如kvcache的multi-head它会share一个head（GQV），这个大概会相当于4倍的压缩，再比如说去年turboquant这个技术也会新带来几倍的压缩。然后加上数据精度从FP16到现在的下一步要到FP4，精度的下降都会带来kvcache的压缩，从而带来存储方面的技术通缩。 但CPU是一个技术层面上通缩量很小的事情，目前任何的agentic的cpu workload（CPU seconds）增长都是硬件需求增长，它通缩的方面只有每年每一代跑分提高的10%到15%。如果说另外通缩因素，比如云的五倍六倍的超卖会不会影响？不会，因为它一直是超卖的，所以说超卖/利用率低这个CPU技术通缩的因素不会继续扩大了，每个增长的CPU seconds都是不怎么带打折的硬件线性增长 ARM的指引是CPU的供需缺口可能会到30%以上，这几个原因的叠加，加上AI服务器对CPU服务器产能和订单的挤压，可能会让缺口更大，各个hyperscaler的反应可能是会滞后的 ------------------ CPU整体需求潜力增长的同时，ARM服务器CPU也赶上了历史上最好的时代： Hyperscaler为了节省成本，接近50%的新增传统server CPU都是ARM，Google的Axion，Amazon的Graviton，Microsoft的Cobolt，Graviton甚至2026年的产能已经全部卖完，瓶颈成了产能 Google TPU配Axion，Amazon Tranium配Graviton，Nvidia Rubin配自家Vera CPU，这部分CPU为什么会集体转向ARM，除了成本因素之外，也因为推理系统为了追求token throughput，batch越来越高越做越复杂，自研ARM CPU以及系统性软件硬件的co-design会更方便，比如Nvidia是Dynamo去控制Vera和Rubin之间的协同 Nuvacore的规划上来看，不仅仅满足于做IP，也要做成品，因为在招聘网站上出现了validation engineer的职位 但是这次Nuvacore面临的挑战也不小：起步太晚了，无论是市场上，还是技术上，竞争都激烈了很多。CPU服务器和七年前比，已经复杂了很多，已经不再是单片CPU的竞争，而是rack系统级别的复杂度 现在开始做2028~2029年上市的CPU，要做到rack级别有竞争力，规模要大很多，基本上要几十个chiplet，500+个core拼起来，还要考虑如何适配AI agentic workload，工作量比以前明显要大的多，对一个startup的挑战比七年前也大得多 ---------------- 上次Nuvia在成立两年之后成功的以14亿美元出售，这次市场热度比五年前高了一个数量级，Nuvacore之后的路会怎么走呢？ 如果是被收购路线，其实买家可能比五年前比并没有更多，这五年里，Google有了Axion，微软有了Cobalt，Amazon有了Graviton，Nvidia自研的Vera CPU已经成型，连ARM也打破了35年来只做IP的常规，开始做自己的AGI CPU芯片 最有可能的是Softbank系，softbank已经在ARM CPU服务器生态上布局深耕了多年，65亿美元收购了Ampere，再收购Nuvacore是很正常的事情，这个市场想象力足够大 其他的选择也可能是Meta，因为几家互联网公司里，只有Meta的silicon house没有稳定可靠的CPU服务器，有限的资源在MTIA都做AI加速器去了 但是Meta的问题在于稳定性极低，决策每个月都在变化，注意力非常短期化，项目随时取消，对Nuvacore来说完全无法兑现潜力，是一个非常糟糕的买家 但总体来说，Nuvacore的选择肯定比五年前宽了太多了，对ARM CPU服务器的潜力大家的共识都很明确，融资的难度要小很多，自己运营扩张起来，阻力比以前小很多，合作伙伴的配合程度上也因为未来预期，会容易很多 完全可以自己做大到比Nuvia当年更大的规模再考虑出路，根本不着急卖

复盘GTC 2026：Nvidia补上了短板，大幅削弱了各个AI 加速器 startup最大的优势--token速度 回顾这篇GTC前瞻，方向预测和技术路线写的没啥大问题，最后Nvidia给出的解法比我想象的更为精巧：不仅是prefill放在GPU上，decode阶段Attention阶段也放在GPU上(这点没想到)，只把decode的MLP阶段放在LPU上做 这和MatX的解决方法有异曲同工之妙，Weights放在SRAM上，KV cache放在HBM上 这样的好处在于，Attention阶段需要巨量的KV cache(动辄几十上百GB)，本就是LPU SRAM无法承受的，把这部分放在HBM上是更合理的选择 正应对了未来agentic flow里多轮对话上下文长，long context KV cache爆炸的趋势，即便是高batch并发数产生巨量KV cache也能让HBM容纳。随着上下文长度变长，所有的增量成本都在GPU HBM上，LPX是完全静态的不受影响，只和模型本身大小相关 让LPU宝贵的128GB SRAM只承担FFN/MLP阶段的固定weights，而FFN阶段占GPU整个decode阶段的50%以上，如果是短context甚至能占比超过60%，FFN这部分在LPU上得到数倍大幅加速，是很划算的 这样设计的部分drawback可能在于，一般transformer的decode阶段有很多层，比如以80层为例，那就是attention层和FFN要重复80次，也就是说，tensor要在GPU和LPU之间互相传递80次，虽然中间是low latency Nvidia Spectrum-X Ethenet，但生成一个token需要80次GPU-LPU往返延迟累加，这也是不小的损耗 这样的新架构，按attention和FFN各占40%/60%来算，FFN阶段加速几倍，极限最高速度来说，整体加速能达到一倍以上（和Rubin NVL 72比） 最高速度突破1000 token/s的同时，还能让整体throuhput仍然能保持一定的商业价值。要知道如果在Blackwell要跑到400~500 token/s高速，只能同时处理很少的几个请求，这对GPU资源是巨大的浪费。而现在就算是跑到1000 token/s，也能保持一定的batch size(吞吐量)了，终于也能产生商业价值了 图里说在400 token/s的速度下，Rubin + LPX把吞吐提升了35倍，就是典型的token经济学，这个token高速度下，从Blackwell算提升了35倍的商业价值 ------- Nvidia补上了这块短板之后，对各个startup（比如Cerebras, d-Matrix, MatX, SambaNova）有什么影响呢？ startup最大的卖点就是特定场景下的速度优势，或者成本优势 在大batch（多请求）场景下，GPU的算术密度(arithmetic intensity)越过ridge point之后利用率接近很高，成本/速度都对startup有显著的优势。 所以这些startup能存活，最大的场景是：客户的workload集中在小batch、低延迟，速度极快，不在乎极高成本。GPU在这里效率极差，也达不到对应的token速度 Cerebras：极致的速度。wafer-scale尺寸巨大的SRAM(40GB)，消灭芯片间通信这个最大瓶颈，在小batch用户数量小的场景下token rate极高。但成本完全没有竞争力，一台CS-3系统价格230万美元，远超同等GPU集群，跟H100比是十几倍的成本换十几倍的速度。 d-Matrix ：高速度+小batch场景。in-memory compute减少data movement，在小batch decode下比GPU的利用率高，所以perf/watt在这个区间有一定竞争力。最近引入的3D stacked DRAM 是为了解决“更大的 reasoning model + 更高 token consumption”带来的容量/带宽继续扩展问题 SambaNova ： 在企业私有化部署场景下，同时跑多个中小模型，GPU的利用率因为context switching损耗严重，SambaNova的RDU在这个场景下有更好的perf/dollar。本质上还是特定场景下的成本优势，通用速度优势并没有那么大 MatX：partitionable脉动阵列 + SRAM/HBM混合，和这次Nvidia的异构架构思路有相似的地方，最大的亮点是单芯片内实现Weights放在SRAM上，KV cache放在HBM上。但单芯片内省掉了前面提到的AFD的80层LPU-GPU芯片间通信，所以速度上仍然有一定优势，但Scalability可能不如GPU+LPU阵列了 总之，在Rubin + LPX情境下，小batch、低延迟，速度极快这个以前的场景缺口补上了很多，各个startup的优势空间越来越缩小了 ------------- 前瞻里提到的speculative decoding用LPU做草稿模型，用GPU去验证，这样的加速幅度会非常大，这个猜想完全命中，这次在官方blog里有了浓墨重彩的一笔，专门用了一整个章节来介绍这个用法：“LPX generates draft tokens rapidly using its low-latency architecture. Rubin GPUs verify and finalize tokens efficiently” 另外一个前瞻里提到的CPX (Content Phase aXcelerator，一个专门为prefill的compute bound特性设计的计算模块)，似乎在这次GTC里完全消失了，一个字也没提，这是意味着CPX被彻底取消了吗？ 我觉得不一定 目前的prefill和decode是disaggregated结构，也就是说一部分的GPU专门做prefill，另一部分专门做decode。CPX取代GPU做prefill从架构上来说是更合理的选择，可以加速prefill阶段，当然了会带来更高的成本，毕竟也是额外的一颗芯片 CPX和目前Nvidia的Rubin + LPX架构没有冲突的地方，仅仅只是简单的把做prefill的这部分GPU换成CPX而已，所以以后有速度优化需求的时候，也许CPX还会回来的 —------------------------------------------------------- 还是上篇的感慨，每一次计算范式的改变，半导体都会带来一波新的startup热潮，但当软件/应用形态逐渐收敛，最后还是变成了大厂通过收购把功能做大做全，参数做的更高，系统深度整合的更好更全面，成本更低，功耗和跑分更优秀，让startup慢慢失去独立生存的空间 比如移动互联网时代早期，也是群雄并起，有做AP应用处理器，独立基带芯片的，ISP的，GPU的各种小公司。但最后的赢家，都是从到后来把GPU，ISP，modem全都做进SoC，并且完成系统级整合的异构计算平台。 苹果收购PA semi的CPU，英飞凌的modem，掏空Imagination的GPU；高通收购ATI的mGPU，Atheros的Wifi，Nuvia的CPU，CSR的蓝牙/DSP，都是典型例子 异构推理的复杂度越来越高，能做系统级整合的公司会更有优势，这和移动SoC时代的逻辑一模一样。AI时代nvidia收购arm(失败)，收购Mellanox，收购groq，只是这个新历史轮回的开始

GTC 2026 preview： 从Groq生态位看AI异构推理(Heterogeneous Inference)新时代 Groq的SRAM路线的生态位在哪里？SRAM会不会替代HBM路线？ Nvidia如何整合groq到现有的产品线？是技术整合还是产品线整合？收购之后会给groq LPU产品带来怎样的升级？ 这里尝试从基本原理出发去拼凑一个逻辑链 —-------------------------------------------- 先从first principal说说groq的设计哲学开始：groq本质上是一个compiler first走到极致的路线而不是SRAM first路线，SRAM路线只是副产品 相对于CPU针对通用workload的设计不同，AI 推理workload的特征在于确定性(deterministic)更高，基本没有data-dependent branching，tensor shape固定，memory access pattern确定 当Groq带着这个新特征重新审视 hardware-software interface，去问"什么应该在编译时做，什么应该在运行时做"。对于 AI 推理这个 workload，答案是：几乎一切都可以在编译时做 这就是Groq最疯狂而独特的地方：完全确定性编译器（fully deterministic compiler），compile精确到每个时钟周期，完全精确带来极致的效率。在编译的时候就需要考虑到硬件在运行的每个时刻的所有状态，扮演一个全知全能的上帝，就可以避免硬件资源的浪费，而要做到这一点，必须要做到极致的确定性，也就是说，LPU里每一个计算，访问存储，通信的延迟，都需要精确到clock cycle，这对compiler来说是非常复杂的 AI workload更高的确定性，以及groq的完全确定性编译器优先路线很自然的避免了VLIW的弱点(内存行为以及branch行为不可预测)，放大了VLIW的优点。那么下一步要提高效率和并行度，VLIW 式的编码格式就是一个自然推论—既然编译器要控制每个功能单元每个 cycle 做什么，那指令格式当然就是一个宽指令里打包多个 指令会得到更高效率，这就是 VLIW 在groq的芯片里，不做乱序执行/speculation，大幅简化硬件(instruction dispatch仅占<3%面积)，把复杂度移到静态compiler上，这正是VLIW思想的精髓 既然要让编译器做确定性的 cycle-accurate 调度，那么硬件里所有不确定的因素都要消除，比如arbiter，crossbar, replay，这些有自主算法在运行时决策的部分都砍掉 memory latency 也必须是确定的，所以一切 cache 和 DRAM都是要砍掉的，cache也要换成scratchpad SRAM，因为cache replacement 策略是runtime决策的，不确定，必须换成软件控制的scratchpad，地址映射完全由compiler控制，保证确定性 通信也必须精确到cycle，发送和接收指令就是软件协调好执行的时刻,并没有传统的“我要发一个包给你，请分配好内存”这类操作，而是同步地根据一份时间表严格执行SRAM 的分配和收发操作，这个时间表是compiler已经决定好的，硬件只需要执行就行了 完全确定性compiler也带来了芯片节点之间互联通信overhead的极低延迟，这可能是groq确定性架构最被忽视的最大优势，毕竟传统互联架构里Packet Routing、Arbiter Contention 和 Buffer Queuing，这些是延迟波动的重灾区 这就是为什么说，groq其实并不是一个native SRAM first的技术路线，也不完全算是VLIW first的技术路线，而是compiler first的技术路线，更准确的说，完全确定性compiler是整个groq架构的核心 只是因为确定性compiler的原因，所以在核心decode阶段无法使用HBM/DRAM带来的不确定性，SRAM only成为了必然的选择。这也是为什么说Groq更像是compiler first路线。 —-------------------------------------------- groq被收购之后最直觉的第一反应： groq确定性compiler技术路线有没有可能用在Nvidia现在的GPU+HBM体系上？ 不能 原因有两个： 1. HBM/DRAM的物理特性和带宽优化决定了它天生带有不可预测的延迟，无法和deterministic compiler兼容 2. Nvidia的SIMT路线和Groq的VLIW/compiler first的哲学本质是有冲突的 DRAM为什么充满了不确定性 1.refresh操作每隔一段时间tREFI就会刷新一次cell上的电量，阻断bank访问，这是由DRAM cell物理特性决定的。而这个操作会随着温度的变化，refresh的频率也会变化 2. 为了最大化利用DRAM带宽，controller会做很多优化，最典型的是batch scheduling：把同一个page的traffic都放在一起减少page miss，同时让读写尽可能接触更多的bank，以及尽可能减少read和write switching 这些动态优化都是real time发生的，基本不具备可预测性 3. system上对DRAM的优化，比如bank address hashing，让compiler静态提前定位某段data难度太大，落实cycle确定性的复杂度太高 其实这些不确定性也是能解决的，代价就是放弃大部分的优化策略，大幅降低DRAM的efficiency和利用率。groq自己其实也对这方面做过探索，他们曾经做过一个确定性DRAM的专利，但工程上的实现是不现实的，这也是groq选择SRAM-only的核心原因之一。 所以确定性compiler技术路线用在DRAM上不是一个yes or no的问题，而是这不是一个好的选择，因为这意味着HBM的efficiency和BW都要大打折扣，而且是结构性无法避免的损失。 这几乎意味着要用compiler去重写一个完整的memory controller，因为确定性dram本质上是compiler software defined memory controller，这个SW controller会非常难做，复杂度极高，而且每一代memory迭代都要大幅更新compiler里的结构，在工程资源上是不现实的。而且每一代DRAM，每一家DRAM 供货商都需要调试 ，这在验证和validation上是一个nightmare --------- 为什么Nvidia的SIMT路线和Groq的VLIW/compiler first的哲学本质是有冲突的 这两套体系对同一个问题给出了相反的回答：运行时的不确定性，Groq是compiler阶段直接消灭所有不确定性，Nvidia选择了用warp switching去隐藏不可预测的延迟 Nvidia GPU 建立在 SIMT（单指令多线程）和硬件层线程调度器（Warp Scheduler）上。当一个warp因为访存而stall的时候，硬件warp scheduler立刻切换到另一个ready的warp继续执行，把stall的延迟藏在其他warp的计算里。这整套机制的前提恰恰是：延迟是不可预测的，所以需要足够多的并发线程来统计性地填满pipeline 如果要用确定性的编译器去接管，等于把 Nvidia GPU 里面最核心的硬件调度单元全盘废弃：如果你不需要多warp轮转，你也不需要那么大的register file 实际在历史上，AMD从TeraScale（VLIW）到GCN（scalar SIMT）的架构转型，正是GPU领域一次大规模的VLIW→SIMT迁移：当workload变得不够可预测时，VLIW的compiler负担太重，应该把调度权还给硬件 所以在原架构上引入确定性compiler应用到Nvidia现有的技术路线，是很难融合。这不是compiler能不能改的问题，是两套架构从第一性原理上就走了相反的方向。 所以说，Groq在Nvidia的唯一出路，就是独立的面向low latency decode的专用产品。 —-------------------------------------------- Nvidia收购Groq之后，就引出了第二个问题： Nvidia会给Groq带来什么样的新提升？ 那么首先看看groq的瓶颈在哪里，简单的说 1. SRAM容量太小，无法容下大模型的参数量+kv cache 2. 推理decode主要瓶颈不在SRAM 80T/s的速度而在于interconnect延迟(占80%) 3. 对于Prefill这样的compute bound task速度较慢 groq的主要架构基本上是17~18年就完成了，那是CNN的时代，架构也是以CNN/LSTM为主要的target，当时测试benchmark都是ResNet50，SRAM容量是绰绰有余的 但是进入LLM时代，单个TSP计算卡230MB SRAM就显得不够看了，一个LLAMA 70B模型的参数量占内存就相当于3000个ResNet50，再加上因为上下文long context日益膨胀的KV cache，scale out就成了唯一的出路 于是一个70B模型的推理就需要576卡的集群，采用16个Pipeline并行 （PP）和36个tensor 并行 （TP），80层的大模型切成16级流水pipeline串行，每级横向5层MLP分给36个卡并行推理 16级流水pipeline串行（PP），每级流水到下级流水的通信overhead延迟就要 X16。实测中PP和TP之间的通信延迟占据了80%以上的总延迟，特别是PP延迟，占据了50%以上的总延迟，通信延迟成为了主要瓶颈 Groq计算卡对decode阶段的memory bound很友好，但是片上巨大的SRAM也挤压了compute的面积，导致prefill阶段耗时很高。融入Nvidia产品线之后，Groq产品完全可以扬长避短，只做自己擅长的decode部分，避免prefill阶段的短板 Nvidia带来的最重要的提升，可能是通过工艺的提升，以及hybrid bonding技术(类似AMD 3D V-Cache)，扩大Groq LPU SRAM的容量，比如光是14nm到3nm的工艺提升，SRAM就能从230MB扩大到500MB，如果以后引入3D SRAM，容量还能翻倍 SRAM变大之后，原来576个LPU能完成的70B模型推理，现在只需要256个LPU了。猜测也许可以用32个tensor并行 X 8 个流水pipeline串行，pipeline interconnect延迟能直接减半。 所以Nvidia能带来的主要提升可能是，通过扩大SRAM的容量，减少scale out卡数，从而减少通信延迟时间，提高token速度 —-------------------------------------------- Groq的SRAM路线专用产品进入Nvidia产品线，引出了第三个问题： SRAM路线会颠覆HBM路线吗？ 不会。 SRAM路线本质上是用十倍的成本换几倍的速度，只能适用于一部分愿意为低延迟付出高额溢价的市场。AI硬件市场的主旋律仍然是比拼TCO(total cost ownership)成本 做一个简单的成本核算就清楚了 以LLAMA 70B模型为例，算上KV cache，Groq需要576张计算卡组成集群。Groq计算卡零售价大约是每颗2万美元(groq CEO说实际售价远低于，那就按2000美元算)，576卡就是超过110万美元的硬件成本。而2张H100就能跑同样的模型，成本不到10万美元。成本差距是一个数量级。 Groq于是转而卖token服务，Groq的API定价确实便宜，但这是因为两个原因叠加： 第一，Nvidia的GPU云服务商通常在硬件成本上加倍的margin卖出去； 第二，Groq自己是在亏钱运营的。2025年全年，Groq用LPU做大模型推理、对外卖API的业务，营收大约4000万美元，成本却是6000万美元，毛利-50%。Groq的便宜token价格不是因为SRAM的经济性更好，而是因为VC在补贴。 那么有人愿意为速度付溢价吗？ 有。 Claude Opus 4.6 Fast模式就是一个很好的市场信号：输出速度提升2.5倍，定价直接从$5/$25涨到$30/$150 per million tokens，6倍的价格，估计是牺牲了batch带来的速度提升。 所以这部分市场是真实存在的，SRAM路线在这里有它的生态位。 但这个生态位有多大？要看ML workload的分类。不同的workload对硬件的侧重点要求差距巨大： 推理的Prefill阶段对带宽要求低但算力要求高，推理decode阶段则是反过来。R&R(Ranking & Recommendation)对算力和带宽要求都不高但对存储的容量要求巨高 （见附图） 对延迟敏感的推理workload，decode阶段对Memory bandwidth要求高，是SRAM路线的优势领域（图中红色线），主要是real time/interactive LLM：chat、copilot、agent这类需要实时响应的场景。 特别是reasoning model，SRAM路线带来的极致体验是很夸张的：H100要两三分钟跑完一reasoning，cerebras十秒就搞定了 这部分注重极致推理速度的市场有多大，我暂时没有找到一个详尽的调研，看到一个Hyperscaler的说法目前是10%左右 但是agentic flow workload，常用的agentic框架做profiling，比如SWE-Agent, LangChain, Toolformer，CPU最长可以占到90%的E2E端到端延迟，throughput瓶颈也更多的卡在CPU, 这些加起来通常远大于单次decode的延迟，SRAM路线速度优势被削弱。 而更大体量的workload：batch inference、offline processing、ranking、recommendation对延迟没有那么敏感，throughput和cost per token才是唯一的指标。这部分市场SRAM路线完全没有成本上的竞争力 H100/B200相当于大巴车，装的人多(batch processing)，每个人的车票钱很便宜，但是慢悠悠。 Groq/cerebras相当于是法拉利，极致的速度体验，但是装的人少，人均票价是大巴车十倍甚至以上。 长期来看，SRAM的成本劣势是结构性的，不会随时间收敛。6T SRAM cell天然比1T1C DRAM cell贵，这是物理决定的，和工艺无关。而且SRAM scaling已经慢了下来，从N5到N3E，SRAM单元面积几乎没有缩小 即便是速度优势，SRAM路线的缺陷在于访问速度已经接近工艺极限，很难跨代提升。特别是HBM的速度每代都在指数上升的情况下，SRAM 80T/s的速度优势很难长久维持。十年前这个路线刚刚兴起的时候，SRAM速度比HBM快了两个数量级简直是降维打击，但现在的速度差已经不到一个数量级(Rubin HBM4 22TB/s)，再过十年，两者的速度可能拉不开差距了。 所以结论很清楚：SRAM不会颠覆HBM，但它在低延迟、低batch、实时推理这个细分市场里有不可替代的价值。但长远来看，随着HBM速度指数上升的背景下，SRAM优势也会逐渐慢慢越小。 —-------------------------------------------- 写到这里，也许我们可以把这些碎片拼凑出Nvidia收购Groq之后计划的下一步雏形： 异构推理的新时代开启了 以后的推理workload本身已经分化，无法再用单一架构的最优点覆盖，体系结构最重要的是tradeoff，是尺度范围。一个架构形态在合理的tradeoff以及特定workload下可能惊为天人，用多个架构形态去迎合不同种类的workload，就是异构计算的思想 2026 GTC的最大主题，就是异构推理的系统化。推理不会由单一硬件统一完成，而会被拆成 几个部分： 控制和调度/agent runtime层交给Vera CPU 针对long context的prefill交给CPX (Content Phase aXcelerator，一个专门为prefill的compute bound特性设计的计算模块) 小模型/低延迟/low batch decode交给SRAM路线的Groq LPU，256块LPU集群 高吞吐/高并发batch decode，HBM GPU仍然是主力 以及可能会被忽略的ICMS：inference context memory storage, kv cache已经是核心基础设施，以前的异构更多是计算异构，现在的异构已然延申到了缓存异构memory hierachy heterogenity(似乎改名成了CMX: context memory storage) LPU和GPU的分工，更可能成为 inference stack 里两个不同的tier，小模型/低延迟/low batch都交给LPU，长context/high batch交给HBM GPU 目前CPX什么方式和LPU/GPU连接还尚不清楚，整个工作流程大概是，CPU做控制和调度，CPX Prefill 跑完得到几十 GB 的 KV Cache， 分配到 Groq LPU阵列SRAM，或者分配到HBM GPU，开启Decode流程 其实还有一种更大胆的猜想：如果引入speculative decoding，那么LPU完全可以跑通常尺寸较小的草稿模型，在LPU上速度极快，HBM GPU作为主力去验证草稿模型即可，这样的异构推理结构，可以让token rate大大加速，在某些场景下翻倍也是没问题的（比如代码任务模式固定，小模型很容易猜对语法，所以加速效果很好） 当 Nvidia 的眼光越过GPU，走向整个 Agentic 流程的系统级优化时，追赶它的难度已经不在一个单一维度了。以前 Nvidia 步子迈得大，靠的是 GPU 架构和参数的单点暴力跃升；而现在，随着CPX，LPU，ICMS加入异构推理，它是从“数据中心即一台计算系统”的系统视角出发，从Agentic flow的角度做底层的异构编排。 无论是系统的复杂度，还是软件栈的工作量(Dynamo/ICMS/CMX)，Nvidia 迈出的这一大步，直接把竞争门槛从“做出一颗好芯片”拉高到了“定义一整套异构系统来做普适加速计算解决方案“ —------------------------------------------------------- 不由得感慨，每一次计算范式的改变，半导体都会带来一波新的startup热潮，但当软件/应用形态逐渐收敛，最后还是变成了大厂通过收购把功能做大做全，参数做的更高，系统深度整合的更好更全面，成本更低，功耗和跑分更优秀，让startup慢慢失去独立生存的空间 比如移动互联网时代早期，也是群雄并起，有做AP应用处理器，独立基带芯片的，ISP的，GPU的各种小公司。但最后的赢家，都是从到后来把GPU，ISP，modem全都做进SoC，并且完成系统级整合的异构计算平台。 苹果收购PA semi的CPU，英飞凌的modem，掏空Imagination的GPU；高通收购ATI的mGPU，Atheros的Wifi，Nuvia的CPU，CSR的蓝牙/DSP，都是典型例子 异构推理的复杂度越来越高，能做系统级整合的公司会更有优势，这和移动SoC时代的逻辑一模一样。AI时代nvidia收购arm(失败)，收购Mellanox，收购groq，只是这个新历史轮回的开始

回顾2025年半导体市场，真的是有太多太多精彩的故事，最大的主题就是: AI需求驱动导致半导体基建的估值体系重构 + 产业链的价值分配重写 从2024年开始，半导体基建正在飞速吞噬整个IT产业利润，SP500里半导体净利润EPS在IT行业里占比，在两年时间从不到20%上升了到了40%，而且还在呈加速上升姿态 半导体整体前瞻利润率从2023年的25%已经升到了2025年11月的43%，已经明显超过了几个互联网巨头的平均利润率，这也印证了半导体利润率超过互联网会是新常态。整个IT产业的利润分配，流向半导体的比例越来越大。 要知道，就算是20~22年的半导体芯片荒，短缺如此严重，半导体的利润率和整个IT利润分配也没有显著增长 这就是故事的上半篇：AI需求驱动导致半导体基建的估值体系重构，不再是互联网时期的基建从属地位 ------------------------ 这个现象背后的逻辑是商业模式随着技术特性的变迁： 互联网时代，每次请求的网络和算力成本，边际成本极低，scaling的效果极好，分发的边际成本几乎为零 在AI时代，这个互联网时代分发边际成本几乎为零利于scalable的特性遭遇了根本性的重大挑战：且不说训练成本从此不是一次性开销而是年年增长，就客户的AI推理请求而言，由于inference scaling成为共识，加上垂直领域仍然需要更大规模的旗舰模型来保持竞争力，推理的成本不会随着硬件算力价格的通缩而同步降低 互联网企业从前的最大成本只有OPEX尤其是SDE人工成本，而现在，互联网公司历史上第一次像半导体厂foundry那样背上高折旧成本的资产负债表，商业模型恨不得要慢慢从“流量 × 转化率”部分转向“每 token 毛利”了 简单的说，互联网时代到AI时代的成本分布，在人力成本opex的基础上又加上了沉重的硬件/算力成本capex(财报里占比：MSFT 33%, Meta 38%)。 上个时代的互联网公司+CSP+SAAS是收租行业里的大赢家，而AI时代，算力(半导体/芯片折旧)成为了新的收租行业，整个IT行业的利润分布发生了剧烈的重新分配(EPS利润流向半导体从20%升到40%而且持续攀升中)，这就是半导体基建估值体系重构最重要的原因 --------------- 半导体高利润率的新常态趋势能持续多久？ 目前的高溢价来自于前期不计成本的军备竞赛造成的半导体订单积压过多 但很显然，hyperscalers都不愿意当冤大头，都在试图自建ASIC降低成本，那么可以从2030年远期的算力分布来回看这个问题 长线来看，openai已经明牌了标准答案，10GW Nvidia，10GW ASIC，6GW AMD，其他hyperscaler划分比例有类似考虑 比如说，推理端希望ASIC >50%，GPU里再细分的话，AMD和NV(legacy)对半分。训练还是得NV占大头，60%+,剩下的自研ASIC和AMD对半分 2030年按60%推理，40%训练比例划分，算下来NV 38%， ASIC 39%， AMD 23%，跟openAI比例是几乎完全一致的，算是一个标准答案参考值 当然了，微软，Amazon，Google，Anthropic这几家里AMD的比例会比这个标准答案中枢/参考值明显低一些，xAI则是没有ASIC只有Nvidia+少量AMD AMD的风险在于，当2030年再往后的更长期，CSP的in house ASIC越来越成熟(微软除外)，推理端ASIC占比可能越来越高，很难有incentive新买入大量GPU了，除非卖的足够便宜 最近风头正劲的TPU呢？Meta是不是要转向TPU？对Nvidia的利润率影响大吗？ 实际上，Meta今年capex72B，明年capex110B，未来六年capex平均值可能达到160B附近，而Meta 6年10B的TPU订单算下来年均只有1.6B，而且购买的是TPU云服务，并不是裸TPU 也就是说，Meta这笔TPU订单只占到Meta未来6年capex的1%，并没有严肃的考虑大规模部署，可能只是作为和Nvidia讨价还价的手段而已 另外从Meta最近几个月的招聘广告来看，也并没有看到任何TPU engineer方面的招聘，不像 Anthropic那样从五月就招一堆TPU kernel engineer，十月才宣布大规模采购TPU做训练 所以说，不管原因是diversify供货商，还是给自研ASIC延迟做退路，还是因为AMD的MI350X延迟，Meta买TPU基本上只有一个考虑：增加买Nvidia GPU的议价权，但顶多只有推理份额里能讨价还价，实际效果很有限，对Nvidia利润率影响也很有限。 要知道，22年加密货币熊市矿难的时候，NVDA库存上升到了198天，利润率只是从65%回撤到了56%，算上PE/宏观双杀股价才从300变100，现在一直供不应求，利润率没道理能降下来 再加上TPU v8设计过于保守(没用HBM4)，Kyber rack的Rubin方案会比TPU v8的TCO更好，到头来最后还是得继续依赖Nvidia，很难议价。只要Nvidia继续保持这样的大踏步前进，竞争对手其实要跟上还是不容易的。 总之，一方面，全产业链瓶颈，比如cowos扩张都很谨慎，供不应求的状态还能持续多年。 另一方面，AI变现的利润曲线和硬件投入曲线存在“时间错配”，应用端的增长曲线会落后几年，只要这个应用端和基建端的增长曲线的时间错位依旧存在，半导体在IT行业的利润分配就会一直占优势。 从OpenAI的到2030年的投入曲线来看，这个时间错位至少要持续到2030年附近。也就是说半导体行业的超级扩张期带来的在IT产业利润划分的主导地位，目前看至少能持续到2030年 而半导体高利润率可能会维持的更长远一些，因为从互联网时代一次性基建属性变成了现在的收租基建属性 --------------------------------------------------- AI 不是只养活了 GPU，而是在用算力预算把“能把电变成 token 的每一环”都抬了一轮，从内存，存储，互联，光纤，电力，储能…..等等 上半篇讲完了“半导体吞噬IT利润”，那么下半篇讲的就是“AI算力价值溢出效应（Spillover Effect）重塑半导体内部格局”：GPU算力增长 -> 内存/存储/互联/CPU瓶颈 -> 溢出效应 -> 结构性机会 2025 年更有趣的故事，是巨大的行业红利在半导体内部怎么诞生结构性新机会，比如说，一个super cluster需要几个数据中心互联，光纤互联的长度需要上百万mile这个级别，这就是新机会 半导体产业链的结构性趋势带来的新机会，最典型的例子就是内存(DRAM/HBM)和存储(SSD)，HBM的需求增长太夸张，连带挤压DDR4/5产能，直接让以周期性为标志的内存行业甚至喊出了“周期不存在”了，Hynix因为在HBM上领先，甚至都开始憧憬起了几年后年利润1000亿美元，妥妥一个万亿市值的公司 这两个板块背后，是结构性趋势的转变：AI workload从训练逐渐往推理延申，推理比例越来越大。 而推理是一个非常纯粹的吃内存带宽速度(memory bound)的事情，可以说带宽速度=token/s。模型尺寸越来越大，以及上下文context length的增加，对内存的尺寸要求也相应增大，导致了内存的需求激增：推理即内存 下一代的的GPU/ASIC内存已经成了暴力美学，配备的内存size之巨大，是三年前无法想象的，回看22年H100的80GB简直像个玩具，这才几年就增长了十倍： Nvidia Ultra Rubin - 1024GB HBM Qualcomm AI200 - 768GB LPDDR AMD MI400x - 432GB HBM 内存的另外一个潜在的爆发点在端侧，也就是手机/PC/汽车/机器人的端侧LLM，这两年主流的手机旗舰机已经从6GB升级到了8GB/12GB/16GB，提前为可能的端侧LLM生态做准备，毕竟手机算力下一代就能达到150TOPS量级，妥妥的桌面级，非常暴力 潜力上来说，端侧内存升级是比云端内存增量要更大的市场，毕竟端侧终端device的数量太惊人了，每年都是billion级别，一旦端侧LLM生态繁荣起来，内存用量翻倍轻而易举，针对端侧低功耗内存/存算一体的各种设计都会跟上 但端侧genAI的软件生态，似乎明显滞后，一直比我想象的进度要慢，可能是因为这方面还处于摸索期，并没有云端那么确定的ROI，厂商们在投入上都很谨慎，我在23~24年时候看好27年，可能还是太乐观了 互联网->移动互联网用了10~15年，端侧genAI/LLM可能也需要7~10年，可能得等云端ROI开发的差不多了，边际收益下降了，才能轮得到端侧genAI/LLM拿到开发资源，跑通端侧ROI。 -------------------------------------- 另一个2025年半导体内部结构性转变的故事是NAND存储，特别是企业级eSSD硬盘 结构性趋势来源也是同一个，AI workload的推理需求越来越大。内存红利也外溢到了SSD存储，甚至HDD存储，因为内存不够用就用高速SSD作为多级缓存 主要逻辑是AI推理过程中内存溢出KV cache offloading到下一层SSD存储，以及向量数据库检索/indexing，都在增加SSD存储的需求 Micron财报说的精准又直白：“AI inference use cases such as KV cache tiering and vector database search and indexing, are driving demand for performance storage.” 至于为什么存储价格在第四季度才爆发，这需要区分一下合约价格和现货价格，合约价格涨幅会温和一些，就算是最紧缺的企业级eSSD合约Q4上涨大概25%。而当NAND产能在2025年被合约慢慢的吃光，现货的价格就造成了观感上强烈的冲击，一个月上涨50%以上。 另一个未经验证的逻辑是多模态的爆发，特别是AI图片和AI视频的需求爆发，也会加剧存储的短缺，我觉得这条线只能说未来可期，但目前的视频/图片精细程度，可能还不到当年GPT3的水平，要达到出圈效果还需要一些时日。 ------------------------ 那么下一步还有什么趋势转移带来的半导体结构性的机会呢 那么就要先看下一步AI推理端的需求趋势是什么，毫无疑问，agentic flow的比例会越来越大，2025并不是year of agent，而是一个decade of agent 从CPU视角去看agentic workload，routing和工具处理都在CPU上，如果把常用的agentic框架做profiling，比如SWE-Agent, LangChain, Toolformer，CPU最长可以占到90%的E2E端到端延迟，throughput瓶颈也更多的卡在CPU，甚至CPU能耗也超过了总能耗的40% Agentic AI目前是一个CPU瓶颈更多的事情，在 agentic 框架里，CPU 是永远在忙的总指挥orchestrator, 很可能会成就CPU需求的新一波回暖 AMD 2025年Q2财报（8月5日），Lisa Su明确表述了这一现象：​"In particular, adoption of agentic AI is creating additional demand for general-purpose compute infrastructure, as customers quickly realize that each token generated by a GPU triggers multiple CPU-intensive tasks." "agent AI的采用正在对通用计算基础架构产生额外的需求，因为客户很快就意识到GPU产生的每个令牌都会触发多个CPU密集型任务。" ​Q3 财报里Lisa又明牌了一次CPU TAM increasing due to Gen AI. "Many customers are now planning substantially larger CPU build outs over the coming quarters to support increased demands from AI, serving as a powerful new catalyst for our server business." Nvidia也是把agent flow视为CPU需求，GB200/300 架构配置的CPU比例也比以往大的多，36颗 Grace CPU : 72颗 Blackwell GPU，直接达到了1：2的水平，AMD的路线则是用1~4个256核的EPYC去服务MI400系列72~128个GPU 以后的硬件架构，一定会往优化agent workload方向发展，比如agent task graph的调度和load balancing，CPU/GPU协同micro-batching 算力上的比较，说不定以后也会摆脱现在的纯GPU token rate比较，转向整个系统级全栈agentic benchmark比较. -------------------------- 半导体结构性转变带来的机会同时，下一步，可能也会带来一些意想不到的次生效应 云端AI数据中心需求爆发，造成内存和存储的暴涨，给消费电子的成本带来了很大压力，在2026年，这也许会演变成消费电子产业潜在的黑天鹅 PC厂商最近的股票大跌，也是这个原因。HP已经说了要减少内存配置，暗示要把PC重回8GB内存+256GB存储的时代了。 DRAM内存和存储再这么涨下去，可能会出现很离谱的情况：内存/存储现货价格比CPU和GPU还要更贵。尴尬的是，这可能直接延缓了消费电子期望的AI PC的进程，毕竟大内存是更有利AI PC的表现力的。 夸张的说，每个PC厂商和手机厂商的员工，甚至是消费电子厂商的员工，都应该买入存储和内存，作为职业风险对冲 明年年初开始，安卓阵营的内存以及存储成本要压不住了，三星，小米的手机售价都提高的话(美国市场现在已经提高不少了)，利好最大的就是苹果 苹果的内存产能，nand产能都是专属长约锁价特供的，顺带还把Kioxia给坑了好多不涨价产能，导致苹果的成本优势进一步扩大，苹果全球手机销量市占率增长可能会非常可观，接下来一阵子可能会是iphone辉煌的时光。 ----------------------- 2025年半导体市场真的是太多精彩的故事了，Nvidia/AMD/TPU和各家hyperscaler的恩怨情仇引得各路下注的吃瓜群众心情跌宕起伏。 HBM/内存厂商吃到了memory-bound的红利，NAND厂商意外收获了KV cache的溢出效应，CPU在沉寂近十年后，可能会因agent orchestration再次回到增长叙事的中心 不再是Nvidia/AVGO几家算力厂商独大，而是AI workload算力价值溢出后的每一次演进，从训练到推理，从文本到多模态，从单模型调用到agentic flow，都在重写产业链的价值分配。 云端AI的繁荣正在挤压消费电子的生存空间——当PC厂商被迫讨论重回8GB时代，苹果却因供应链优势坐收渔利。这场算力军备竞赛的次生效应，可能在2026年以意想不到的方式重塑整个消费电子格局 半导体的故事不再是一条单线，而是一张持续自我重构的网。而 2025 年，大概只是合纵连横的第一回合

AI泡沫论，继循环投资/左脚踩右脚的故事淡化后，终于又迎来了新论据，这次轮到了GPU折旧问题 这次的叙事很简单，在几个主流CSP的财务报表里，GPU折旧年限很多都是平摊到6年来算 但是GPU使用寿命可能只有2~3年，那么这样做账就会让纸面上利润率虚高，而实际上AI云利润太低就是吹泡泡 真的是这样吗？ ------------------------ 首先我们要来看看，GPU实际使用寿命2~3年这个说法是哪里来的 目前比较靠谱的溯源基本上指向了公开的Llama3的技术报告 Meta在2024年训练Llama 3.1 405B模型时，使用了16,384个H100 GPU，训练时长54天。在这期间记录了： 466次中断（interruptions），其中419次是非计划故障​ 平均每3小时发生一次故障​ 有效训练时间维持在90%以上 根据Meta的这次54天训练数据推算，年化GPU故障率(AFR)约9%​，最保守的估算，3年累计故障率约27%（超过1/4的GPU会在3年内失效） 虽然实际上肯定是用的时间越长故障率会更高，因为高负载导致的高温会更容易产生failure 所以训练用的GPU2~3年寿命并不是空穴来风，毕竟同步训练的脆弱性决定了AI训练过程要求单个GPU故障就能导致整个作业停止 另一个佐证就是，曾经GPU挖矿的矿卡，三年报废率也是很可观的，挖矿和训练的共通之处在于GPU利用率都很高 在这个Llama3技术报告之外，所有CSP，包括Azure，GCP，AWS的这类数据都是保密的，毕竟这个故障率直接关系到运营成本和服务质量，算是商业机密。 ----------------------------------------- 确认了折旧率数据来源，接下来就要说“但是”了 -------- 1. 是不是训练用的GPU寿命都一直会这么短？ 首先Meta这个训练数据推算是按中断次数算的，但并不是每次中断都 = 1 GPU 坏了 实际上即便是现在的训练用GPU，中断故障率都比以前训练要低了，以前几乎每一两小时都要中断，现在每天中断几次，相比之下好一些 部分原因是validation的自动化流程做的更好了，训练时的硬件故障中断，其实有不少是重复来自于少数体质敏感易坏的GPU。于是Nvidia也一直在优化validation流程，在训练之前的测试做的更好，剔除掉这些易坏的GPU 所以现在的GPU年故障率AFR跟以前比已经低不少了，我的估算可能是<6% --------- 2. 一个更容易被忽视的问题是，训练用的GPU和推理用的GPU，折旧率是否一样？ 很显然是不一样的，推理用的GPU年折旧率一般要低的多，原因是推理的平均负荷要小得多，不会因为持续性高负载高温，对延长寿命是有帮助的，一般年故障率都不会到3%甚至更低(<2%)，这部分GPU的寿命以6年算，是完全符合实际情况的 那么在云上训练和推理GPU的比例如何，就决定了平均寿命折旧如何 推理GPU的比例其实是快速上升的，和训练GPU比起来，不管是模型公司还是云公司的利润其实主要也来自于推理，而长远来看，推理的比例是一定会远高于训练的 所以GPU长线按5~6折旧年限来记账，仔细来看并没有太过分 作为佐证，现在只要不是公司里最重要的部门，要做AI推理就只能用五年前的A100而并没有寿终正寝，是很常见的现象 ---------- 3. 技术的快速迭代，会让GPU在三四年之后，因为TCO使用成本占劣势而被淘汰吗？ 这相当于是让GPU的残值可以忽略，比如现在A100用起来综合成本不如用最新的，所以会被淘汰吗？ 今天CRWV的财报里，CEO的回答算是直接否定了这个说法： "Let me provide a tangible example of our customer relationships and the durability of our platform. We had a large, multi-year contract up for renewal in 2026." （我来提供一个关于我们客户关系和平台持久性的具体例子。我们有一个大型的多年期合同，原定于 2026 年续约。） "Two quarters in advance, the customer proactively recontracted for the infrastructure at a price within 5% of the original agreement." （客户提前两个季度，主动以原协议价格 5% 以内的价格续签了基础设施合同”） H100在合同结束之后，新合同仍然能卖到原来合同95%的价格（看到这里其实我挺惊讶的，H100的租价其实还是下降了不少的），而且连A100也全都卖光了 所以在算力紧缺供不应求的时代，这个前代GPU得不到利用从而报废的担心，在短期的几年内可能都不是太大问题 ---------------------------------------------- GPU折旧问题似乎不是大问题了，是不是意味着AI泡沫就不存在了？ 如果有泡沫，那么会以什么形式出现，会从哪里出现？ 我们可以从底层逻辑和互联网泡沫比较，来看这个问题 简单的说 互联网：基建端基本独立运营，基建和应用是解耦的，需求是脱节的，基建过度价格崩塌，泡沫破裂的很惨 。价值全产生在应用端公司，形成了生态错位 AI：应用端驱动基建，因为应用被基建严重限制规模，从而被迫投资基建端，算力一直紧缺 互联网的泡沫主要在基建端，大量的光纤建设之后都没人用（97%），但是AI泡沫里GPU基建却成了瓶颈，基建显然不是同一种泡沫 基建紧缺到什么程度？ CRWV的订单backlog从30B直接涨到55B，各个CSP的backlog（以RPO为算，一般来说会有5~15%的丢单率）也在快速上涨 从CSP，到芯片，到数据中心DC，到电力，到存储，所有人都在喊订单挤压的太多甚至几倍，很多产业链的环节2026年全部售罄，根本做不完。 硅谷公司里基本上只要是跟AI相关的组，都背负了很重的指标，被压榨累成狗，即便是以前文化很好的NVDA也变内卷了很多 这次的需求全部是从App应用端来的，从App -> 云 -> DC数据中心 -> 芯片一层层传导，而且大家都对泡沫很忌惮，有多少订单准备多少产能(除了少数冒险家CRWV/ORCL/META)，和互联网泡沫最大的区别在于，基建目前并没有超出需求建设 风险也是有的，毕竟App应用端太多创业烧的是VC的钱，这正是泡沫形成的绝佳背景。但目前来看，垂直类应用端还是有很多毛利率和增长率都很不错的代表的(比如Harvey) 所以如果真的有泡沫，目前来看只有可能来自App应用端的需求减弱 一个反直觉的悖论，App端的泡沫在于AI/Agent发展迭代的不够快！做出的东西不够好，导致营收增速跟不上 AI/Agent发展不够快，在广大行业渗透不够又部分是因为算力不够 于是为了维持泡沫不破，算力投资和军备竞赛又会继续加强 然后App端会出现大量输家被淘汰，因为算力投入而破产，这可能就是泡沫破裂的形式 这和互联网时代基建公司大量破产形成了鲜明对比 最后决出的几家寡头，有一定营收，依然会大力投入算力基建，期待赢家通吃 这就导致了AI泡沫和互联网的泡沫破裂方式可能是不同的，下游的基建风险并不大，而泡沫更偏向App应用端 另一个简单的比较方式：看谁在举债，泡沫破裂就在哪里 互联网泡沫，举债的更多在基建端，价值捕获更多在App端 AI泡沫，价值捕获在App应用端，而举债的也更多在应用端(以及云) 但反过来说，如果OpenAI和Anthropic能继续维持三年3~9倍的营收增速，基建维持5年供不应求的超级周期，并不是天方夜谭的事情 --------------------- 算力把时间借给了应用，终究要用增长归还；还不上的，就是泡沫。能还清的，就是点亮文明的下一座灯塔