註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

AI产业挖掘🐔
@QihongF44102
经历多轮 AI 变革周期:学生时代研究 Computer Vision,职业早期深耕 Recommendation / Search Systems,如今专注 Agentic Systems。
320 正在關注    13.3K 粉絲
一位朋友写的公众号,关于存储的,她写的比较系统,我自己就想到哪儿,写到哪儿
0
10
24
3
轉發到社區
市场炒缺货,盯着AI投资产业链每个零部件从GPU、存储、光、电(sic gan mlcc..) 为啥无视最明显的缺货呢?资金信用提供方 信用担保提供缺货是未来两年最确信的交易,超过任何一个零部件。半导体牛人们 技术缺货都未必不能绕过 只有钱(信用提供“缺货”)不可能绕过
顯示更多
0
46
267
26
轉發到社區
AI交易到这个时点,务必要去掉所有杠杆,务必要做好保护,有的市场还没调整,但不代表不会调整; 有几个事件让我感到担心: 1.港股->日韩->A股 这几个主要和AI相关的市场相继进入了熊市,美股是否能够避免,我很担心; 2.从产业到资本市场极度fomo,中间藏着不少泡沫; 先说产业, 上游90%毛利的存储,还在要求涨价,其他几乎所有的硬件都在涨价,似乎所有人都觉得capex可以永续高增长; 再到LLM从业人员,动辄几千万上亿的薪资,很多一些只看过几篇论文,用claude code 或者codex 实现一遍的人,就说自己要做算法工程师;是个算法工程师都要做大模型预训练;但实际上,现在做的事情,绝大多数都比过去AI领域做的事情要简单(这是非共识); 再说资本市场, 很多参与者都觉得增长可以永续,价格可以永续,因此市场参与者给了更高的估值(隐含eps可以永续高增长)。但是万一中间遇冷,当市场发现eps高增长不是永续的,那市场会存在双杀的风险;于此同时,当上游利润率高到离谱的时候,这可能不仅仅只是市场经济那么简单了,地缘政治上,下游的反应等等这些一有风吹操作,就会让股价剧烈波动;
顯示更多
存储的又一个击球区可能最近几天又会到来了,等待多头投降🏳️ #sk# hynix $dram
0
17
56
0
轉發到社區
接下来存储股将会进入一段灾难一样的折磨时光,半导体为首的科技股也全都要跟着存储定价。 简单模式已经不存在,已经到了比信息源、择时能力、仓位管理的时刻了。 普通玩家我建议除了长持股以外,尽可能减少所有科技股的头寸。 糟糕的消息接下来会满天飞,上下波动变大,然后大部分人在来回割肉中亏钱。
顯示更多
0
21
517
44
轉發到社區
这带货水平也太低级了,cbrs总共在台积电才多少投片量啊
Kinda nutty OpenAI’s is launching its heavyweight 5.6 Sol frontier model on $CBRS. At up to 750 tokens/sec, which is obscene performance. American inference go brrr. I actually picked up starter positions on Cerebras for the first time in the ~170s (below $185 IPO price) after seeing this news yesterday. Feels like validation of its tech. IMO a bit overvalued compared to profitable companies like $JBL at the same valuation. But there’s likely premiums for OpenAI exposure, as long as they stay the leader.
顯示更多
0
13
52
3
轉發到社區
未来一段时间,全球AI硬件的核心矛盾就在存储扩产。 存储的资本开支优先级已经压过半导体产业链几乎所有其他环节。消费电子、汽车芯片的产能被持续挤占,AI资本开支链条中非存储的部分同样承压。存储扩产对全行业资源的虹吸,比大多数人意识到的严重得多。 三星、SK海力士、美光未必想主动扩产,但存储已经是AI算力链条上的战略瓶颈,政治层面的力量不会允许他们按自己的节奏来。扩不扩、扩多少,很大程度上已经不是三家公司自己说了算的事。 在这个时间点上,我认为买存储公司不如买设备公司。存储周期性依然存在,现在就是各方势力博弈让三大头部扩产,然后设备商将成为最终的确定性。美国四大半导体设备商,就是买。
顯示更多
0
58
295
51
轉發到社區
当半导体各个环节都涨价涨的不可接受的情况下,随之而来的必然是各方都会给压力要求扩产,那么这个时候,设备和材料自然就是最顺畅的方向; $AMAT $UCTT #拓荆科技# #盛美上海# #中船特气# #胜高(3436#.T)
顯示更多
0
10
39
12
轉發到社區
不用担心存储,推理时代,内存即推理,这个是技术原理。怀疑内存需求减缓的人只需要问自己2个问题: 1.从明天开始,我是否要降低使用ai的频率了吗? 2.从明天开始,我会降低使用ai的深度了吗? 回到第一性,如果两个答案都是否,那你还怀疑个der啊!!! $DRAM $MU
顯示更多
0
14
67
5
轉發到社區
村田社长:AI是MLCC行业规模最大且具长期性的周期
钽电容也是数据中心必备,当前涨价幅度甚至远超mlcc,被动元器件行业当前估值仍然非常低,对比村田8pb,vsh 当前pb仅有3.2
I was in VSH in Jan/Feb to play the MLCC shortage, but there was not much movement. All MLCC names globally actually started to surge in late April/early May. A great lesson to me is that entering too early before the market moves won’t give much profit. Patiently monitoring and waiting for momentum in these names would be most capital efficient.
顯示更多
0
17
92
18
轉發到社區
越来越觉得这轮 MLCC 周期, 大概率会比 2017-2018 更大。 因为需求逻辑已经彻底变了。 上一轮, 核心还是智能手机升级。 而这一轮, MLCC 同时绑定了: • AI 服务器 • 新能源汽车 • AI 终端化 本质上是整个电子系统复杂度在提升。 尤其 AI 服务器。 很多人只盯着 GPU, 但高端 GPU 最大的问题之一其实是供电。 功耗越高, 对高可靠性 MLCC 的需求越大。 算力往上卷, 电源系统复杂度也跟着指数级提升。 汽车电子也是一样。 新能源智能车的 MLCC 用量, 相比燃油车是倍数级增长。 而真正关键的是: 这一轮供给端远比 2018 年克制。 经历过上一轮行业大扩产之后, 日韩龙头明显开始控制资本开支, 新增产能也基本集中在高端领域。 所以这轮可能不是简单补库存。 而是: AI + 汽车电子驱动下, 电子工业底层元件的一次重新定价。 重点关注: $6981 村田 $6976 太阳诱电
顯示更多
0
36
274
64
轉發到社區
运油车和储油罐的市值会比油田市值大吗?但凡多一点点思考,都不会去讨论这个问题
所有人都在买GPU和存储。没有人告诉你光模块公司的总市值比美光还低 我想从一个反常识的问题开始:GPU是AI的大脑,存储是AI的记忆。那光是什么?光是AI的神经系统。但神经系统从来不是最先被注意到的。存储已经涨了10倍,GPU更不用说。光的时代,刚刚开始。 1. 先说一个结构性的错误定价 在Nvidia的NVL72机架里,光模块的采购金额占到整个机架的20%。2026年全球AI光收发器市场规模预计从2025年的$165亿增长到$260亿,同比增速超过57%——这是半导体赛道里增速最快的子领域之一。 但所有光模块公司的总市值,比美光一家还低。这个错误会被纠正。问题只是什么时候。 2. 光和存储不一样的地方 存储的接力是季度级别的事件——供需拐点,财报超预期,市场重新定价,SNDK从$200涨到$900,这个过程很快。光的接力是年级别的结构性变迁,因为光的技术路线本身正在发生一次范式转移: 第一阶段(现在):可插拔光模块 800G → 1.6T → 3.2T 线性增长,随数据中心扩张 第二阶段(2026下半年):近封装光学NPO 光模块移向芯片旁边 需求非线性跳升 第三阶段(2027-2028):共封装光学CPO 光引擎直接封装进芯片 这是终局,也是最大的价值重构 Meta在OFC 2026分享了大量数据,证明CPO比可插拔光收发器更可靠,成本更低,功耗更少。Nvidia在GTC展示了CPO将在2027/28年用于Scale-Up互连。5年内所有AI数据中心互连都将是光。 这不是预测,是物理定律。铜在高速率下信号损耗太大,功耗太高,距离太短。光没有这些问题。 3. 光在吃铜,不只是光吃光 生成式AI集群需要比传统云服务多10到100倍的光纤,正在把现有铜互连逼到物理极限。 这是大多数人没想到的逻辑——光的增长不只来自数据中心规模的扩大,还来自光替代铜的渗透率提升。每一代迭代,光吃掉更多铜的市场。这是双重驱动,不是单一驱动。 4. 产业链七个卡位,从上游到下游 现在我来把整条产业链拆清楚。 七个公司,覆盖从最上游的衬底到最下游的网络设备。 🔬 最上游:硅光衬底 $SOI 做的是硅光PIC的衬底材料——整个产业链最上游的原材料。没有SOI的衬底,硅光芯片就没有基础。护城河极高,几乎没有竞争对手能短期内介入。和TSEM形成上下游绑定:SOI提供衬底,TSEM代工成芯片。 🏭 代工层:硅光晶圆厂 $TSEM(Tower Semiconductor)硅光版本的台积电。 今天刚刚发生的重大事件: TSEM宣布签署$13亿的2027年硅光合同,收到$2.9亿产能预付款,2028年还有更大合同在谈判中。计划资本支出$9.2亿专门用于硅光扩产,Q2营收指引$4.55亿同比增22%。 TSEM最聪明的地方在于:它不赌哪条技术路线赢。 可插拔、NPO、CPO,三条路线都用TSEM代工。就算市场对技术路线判断错了,TSEM依然受益。这是光通讯产业链里确定性最高的picks-and-shovels。 💡 激光器层:光的心脏 光模块的核心是激光器。没有激光器,光模块什么都不是。 激光器分两条技术路线: 磷化铟(InP)路线——$LITE(Lumentum) LITE是目前唯一能量产200G每lane EML激光器的供应商,是1.6T收发器的关键零件。Nvidia预先锁定了LITE的EML产能,推迟交货期超过2027年。 Nvidia向LITE投资$20亿,用于加速AI基础设施光学技术。LITE CEO称2026年是激光器芯片销售的"突破年",刚收到历史上最大的CPO超高功率激光器采购承诺。 LITE的护城河是时间积累的——InP激光器的制造需要极其精密的工艺,20年积累的经验是任何竞争对手短期无法复制的。而且LITE不只押注现在:EML是可插拔时代的命门,ELS外置激光器是CPO时代的命门,OCS光路交换机是未来AI集群的光学路由器。 三个产品线覆盖了光通讯从现在到2030年的完整需求。 硅光(SiPho)激光器路线——$SIVE(Sivers Semiconductors) Sivers专注于CPO系统的高性能InP激光阵列,Jabil合作是第一个商业验证信号,证明技术正在从研究走向真实超大规模部署。 SIVE不是要打败LITE,而是作为CPO时代激光器供应链里的补充供应商——当LITE和COHR产能不足时,SIVE是下一个选项。整个CPO产业的激光器供应严重短缺,补充供应商的价值会被重新定价。 🔭 光学系统层:从组件到整合 $COHR(Coherent Corp) COHR最新Q3财报:营收$18.1亿同比增21%,数据中心和通信板块$14亿,同比增40%。Nvidia同样投资$20亿入股COHR。COHR是整个光通讯赛道里垂直整合程度最高的公司。从InP晶圆到激光器到光模块到系统,全部自己做。COHR正在扩大6英寸InP晶圆产能,这是推动毛利率持续提升的核心驱动力——规模越大,每片晶圆的成本越低,利润越高。 LITE和COHR的关系是竞争者也是互补者: LITE:激光器专家,EML垄断,聚焦 COHR:光学系统整合商,体量更大,更全面 🏗️ 物理基础设施层:光纤和连接 $GLW(Corning) Corning是光通讯产业链里最让人意外的标的——一家成立于1851年的玻璃公司,正在成为AI基础设施的核心受益者。 Q1 2026光学通信业务增长36%,分部净利润增长93%。2028年营收目标$300亿,2030年$400亿,内含年化增速19%。两个额外的超大规模云厂商签署了长期协议。 Nvidia命名Corning为下一代AI基础设施光连接合作伙伴,投资$5亿+最高$32亿股权,在美国建三座专属光学工厂。 Corning做的是光纤、线缆和连接器——不是最性感的产品,但是不可或缺的基础设施。 城市要运转,不只需要主干道,还需要所有的小路、接头、路牌。 Corning做的就是光通讯世界里的所有"小路和接头"。 而且这些"小路和接头"是消耗品——每建一个数据中心都需要,每升级一个机架都需要。 📡 网络层:AI时代的网络基础设施 $NOK(Nokia) Nokia是这七个标的里最被市场误解的。大多数人还在用"翻盖手机公司"的眼光看Nokia。 Nokia 2026营收预期同比增长7.5%,EPS增长21.2%,光网络业务增速20%,AI和云业务增速49%,单季度新增€10亿AI和云订单。 Nokia做的是什么? 光传输网络(OTN)——把数据中心之间用光连接起来的骨干网络。这是Scale-Across的核心基础设施。 Nokia的第六代超相干光学技术PSE-6s,是目前全球少数能实现800G甚至1.2T长距离光传输的技术之一。 Nokia收购Infinera之后,从"转卖别人芯片的公司"升级为"拥有自己光芯片工厂的公司"——同样的技术路线,市场给LITE估值66.5倍,给COHR估值35倍,Nokia只有30.8倍Forward PE。 这个估值差距是最大的错误定价之一。 七个标的的完整产业链图 最上游 SOI(硅光衬底) ↓ TSEM(硅光代工) ↓ 激光器层 LITE(InP EML,可插拔+CPO) COHR(垂直整合,光学系统) SIVE(CPO激光阵列,高赔率) ↓ 物理基础设施 GLW(光纤、线缆、连接器) ↓ 网络层 NOK(光传输网络,骨干连接) 每一层都有自己不可替代的护城河。 每一层都在受益于同一个趋势。 6. 为什么是现在? 2026到2027年是在1.6T供应链建立立足点的关键时期,在一线客户的设计导入将决定长期赢家。现在是design-in阶段——产品正在被超大规模客户选中和锁定。等量产阶段到来,市场才会充分定价这些公司的价值。 在design-in阶段买入,等量产阶段收获——这是光通讯投资最好的时机。 7. 仓位逻辑 高确定性(重仓): TSEM → 今天$13亿合同,产业链里最硬的催化剂 LITE → EML垄断+Nvidia锁定,现在到2028年都受益 COHR → 垂直整合,体量最大,Nvidia $20亿入股 中等确定性(配置): GLW → Nvidia直接合作,物理基建不可或缺 NOK → 最被低估的估值,但故事兑现需要更多时间 高赔率(小仓位): SOI → 和TSEM绑定,护城河高但流动性低 SIVE → CPO时代的纯粹赌注 8. 光会接力存储吗? 会。但不一样的方式。存储的接力是一次性的价格重估——供需拐点到来,几个季度内完成定价。 光的接力是分阶段的持续重估—— 2026年:可插拔1.6T带来第一波 2027年:CPO开始量产带来第二波 2028年:Scale-Up全面光化带来第三波 三波叠加,才是光通讯超级周期的全貌。存储让你在一年内赚了10倍。光可能让你在三年内赚同样多,但过程更平稳,确定性更高。 最后一句话 光通讯不是一个新故事,是一个被重新发现的旧故事。 光纤已经存在几十年了,但AI让这个故事的量级发生了质变。每当数据中心需要更高密度、更低功耗、更远距离的连接时,答案永远是光。 #光通讯# #TSEM# #LITE# #COHR# #GLW# #NOK# #SOI# #SIVE# #CPO# #硅光# #光模块# #AI基建# #数据中心# #存储接力# #Nvidia# #美股# #USStocks# #SiliconPhotonics# #CoPackagedOptics# #EML# #光互连# #AIInfrastructure# #光纤# #Nokia# #Corning# #Coherent# #Lumentum#
顯示更多
0
10
37
0
轉發到社區
只要transformer + KV cache在架构上仍然存在 单GPU的HBM就会指数型增长 只要token维持指数增长,基本等价于你说的 1. 需求等价近似无穷大 2. HBM在GPU里的成本会一直占绝对大头 可能等再过几代,单个GPU HBM size达到8T,HBM占整个GPU成本90% 技术原理见引文,欢迎拍砖 所以关键可能并不在于你说的这两点,因为这两点都是可以从第一性原理出发推演出来的。更重要的前提是,token是否真的能继续维持指数增长很多年
顯示更多
0
14
289
52
轉發到社區
我们可能会见到 存储三大原厂市值之和超过英伟达市值(27年三大原厂利润是英伟达3倍)拭目以待 $MU $DRAM $NVDA
0
5
90
17
轉發到社區
codex显著逆转了相较于Claude code的逆势局面,被做空做空半年多的oai链存在显著的预期差,重点关注oai暴露度最高 $crwv $orcl
Codex has overtaken Claude Code in downloads. TickerTrends shows the crossover on April 30, followed by accelerating share gains and a clear deceleration in Claude Code. Latest weekly: • Codex: 46.0M • Claude Code: 491K Gap widening. @sama @OpenAIDevs
顯示更多
Agentic AI的context组装需要大量dram
'According to industry sources on the 2nd, CPU manufacturers are pursuing the integration of 300–400GB of DRAM into AI CPUs. This is up to four times the overwhelming scale compared to typical CPU products (96–256GB).' It’s similar to what I’ve been thinking. Agentic AI will benefit CPUs as well, but it will make memory even more scarce.
顯示更多
capex 替代opex 是一个长期趋势,所以semi就是最硬的市场主线
微软财报听完,终点都在COPILOT的推广速度和如何从SEAT BASED MODEL 转向SEAT + CONSUMPTION MODEL。关于微软客户IT的预算哪里来,SATYA说:也许从运营开支来。 细品,微软强调了自己的员工数量同比0增长,现在说其他公司IT花费可能增加,钱从运营花费来。我更坚持年初的观点,就业只会越来越差!
顯示更多
AI半导体终局推演2026(I) 当新token经济学范式从GPU算力转移到HBM 本文从从GPU架构进化路线本质出发,解释这个市场长久以来担心的问题: 每个GPU的HBM内存需求为什么一定会是指数增长,为什么HBM需求指数增长不会停滞? 并推导token经济学在当前架构下第一性原理:token吞吐 = HBM size X HBM BW带宽 同时讨论了,为什么GPU的天花板被HBM的两个发展维度所决定 HBM周期性这个话题争议一直很大,乐观派认为AI带来的需求比以前要大的多,但市场主流仍然认为前几次上升周期也有需求每年20%+增长,这次又有什么不一样呢?AI不影响HBM和传统DRAM一样有commodity属性,一旦在需求顶峰扩产遇上需求下行又会重蹈覆辙。 我们可以从算力芯片架构视角,从第一性原理出发,来拆解和推演一下这个问题:为什么这次真的不一样 ------------------------------- 历史:CPU算力时代 很久以来,我们都处在CPU主导算力的时代,CPU的最高级KPI就是performance,跑的更快,所以每一代的CPU都用各种方法来提高跑分,最开始是频率上升,后来是架构演进superscaler等等 这个时候为什么DDR不需要很快的技术进步速度?比如DDR3到DDR5竟然经历了15年之久 因为这个时期的DDR的角色是纯粹的辅助,而且辅助功能极弱,以业界经验,DDR的速度即便是提高一倍,CPU的performance一般只能提高不到20%这个量级 为什么DDR带宽速度提高了用处不大?两个原因 1. CPU设计了各种架构去隐藏 DDR延迟,比如superscaler,加大发射宽度,用海量的ROB和register renaming来提高并行度隐藏延迟,一级缓存cache,二级缓存cache,削弱了DDR的带宽速度需求 2. CPU workload对DDR带宽要求并不高,大部分日常负载比如打开网页,DDR带宽是严重过剩的,甚至云端负载 也就是说,在CPU时代,DDR的带宽速度是不太有所谓的,DDR4和DDR5除了少数游戏就没啥差别,甚至JEDEC标准也进步缓慢。 另外,绝大部分app需要一直停留在DDR上的部分并不多,需要的时候从硬盘上调度到DDR即可,app的size增长没那么快,导致对DDR的容量需求也较为缓慢。 所以最近十年来,平均每台电脑上的DDR容量大概从7~8GB变成了23GB,十年只增长了3倍。 而这部分升级缓慢直接影响了营收,size容量计价是赚钱的主要方式,速度的提高只是技术升级,提高size的单价,这两个的升级需求都不大,需求主要是随着电脑/手机数量增长而增长 所以DRAM在带宽速度和容量这两个维度上,一直是都是芯片产业锦上添花性质的附属品,DDR升级带来的边际效用是很低的,跟CPU时代的最高KPI几乎没什么直接联系 -------------------------------------------- 而到了genAI 大模型为主导的新时代,计算范式转移让最高级KPI起了根本变化 GPU发展到AI推理的时代,不再像CPU那样只看跑分,最高级的KPI不再是算力TOPS/FLOPS,而是token的成本,特别是单位成本/单位电力下的overall token throuput 其次是token吞吐速度,因为在agent时代,很多任务变成了串行,token吞吐速度成了用户体验的重要瓶颈。 这也是为什么老黄发明AI工厂概念的原因:最低成本的输出最多token,同时尽量提高token吞吐速度 AI训练时代,老黄的经济学是TCO(total cost ownership),买的GPU越多,省的越多 而老黄在推理时代的token经济学是: AI推理的毛利润很可观,所以逻辑已经转换成:Nvidia GPU是这个世界上让token单价最便宜的GPU,买的GPU越多,赚的越多 最高的KPI变成了Pareto frontier曲线,在提高token 吞吐throughput和提高token速度两个维度上尽量优化 (见图一) NVIDIA 的 token factory 代际进步,其实是在把整条 Pareto frontier 往右上推,这就是是AI推理这个时代最重要的KPI ---------------------------------- 接下来是本文最重要的逻辑链,如何从token吞吐量指数型增长的本质出发,推导出天花板瓶颈在HBM size和HBM 带宽的指数型增长 单卡GPU推理单线程batch size = 1的时代,token吞吐只有一个维度,就是HBM的带宽速度,带宽速度越高,token吞吐越大 但进入NVL72的年代,推理不再是单卡GPU时代,而是72个GPU + 36个CPU整个系统级别的token工厂,把HBM带宽和算力用满,获得极致的token吞吐量 Token 吞吐throughput的增长,依赖两个东西:同时批处理的请求数 X 每个user请求的平均token速度 也就是batch size X per user token 速度 以Rubin NVL72为例,在平均token速度是100 token/s的情况下,同时批处理1920个请求,得到token吞吐量是19.2万token/s 一个Rubin NVL72大概是120KW(0.12MW)的功率,所以得到单位MW能处理1.6M token/s (见图一) 所以,我们需要想方设法提高这两个参数:批处理数量batch size和per user token的平均速度,这两者相乘就是我们的最高KPI,也就是token的吞吐量 ------- 第一个参数:batch size的增长,瓶颈在HBM size 批处理量里的每一个请求req,都会自带kv cache,这部分kv cache是需要存在HBM里的,大小大概在几个GB到数十GB不等 因为hot kv cache是随时需要高频高速读取,所以必须放在HBM里,比如一个大模型的层数是80层,那么每一个token的生成阶段,都需要读取80次HBM里的kv cache 随着批处理数量batch size的增长,会带来hot kv cache的线性增长 又因为这个批处理量的所有请求的hot kv cache,都要放在HBM上,这也就带来了HBM size必须要随着批处理量batch size线性增长 就像是机场接驳车,登机口尽量快的接旅客到飞机,HBM size小了,相当于接驳车size小了,就得多接一趟 结论是:批处理量的数量batch size,瓶颈依赖于HBM size的增长 --------- 第二个参数:每个user请求的平均token速度,瓶颈在HBM带宽 大模型decode阶段的速度,瓶颈取决于HBM的带宽速度,因为每生成一个 token,都要把激活的权重和kv cache 读很多遍 LPU的出现,在batch不那么大的情况下,把激活权重这个部分搬到了SRAM上,但是每生成一个 token仍然要从HBM读很多次KV cache。HBM带宽越高,生成每一个token的速度也就越快,基本上是线性对应的 就像是机场接驳车,登机口尽量快的接旅客到飞机,hbm本身带宽速度就像是接驳车的车门有多宽,门越宽,旅客上接驳车越快 GPU的其他配置,都是在适配batch的增长以及要让token compute的速度配平HBM的增长,甚至会用多余的算力来获得部分的带宽(比如部分带宽压缩技术) —----- 在那个接驳车的比喻例子里 接驳车的车厢大小 = HBM Size(容量): 决定了一次能装下多少名旅客(也就是能同时装下多少个请求的 KV Cache)。车厢越大,一次能拉载的旅客(Batch Size)就越多。如果车太小,想拉100个人就得分两趟,系统整体的吞吐量就上不去。 接驳车的车门宽度 = HBM Bandwidth(带宽): 决定了旅客上下车的速度。门越宽,大家呼啦啦一下全上去了(Decode/生成Token的速度极快)。如果门很窄,哪怕车厢巨大能装200人,大家也得排着队一个一个挤上去,全耗在上下车的时间里了。 旅客的吞吐量 = 接驳车车厢容量 x 接驳车旅客上车速度(车门宽度) —--------------------------- 至此,我们从逻辑上推演出了token经济学的硬件需求第一性原理: Token throughput = HBM size X HBM Bandwidth AI推理这个时代的最高KPI,实际上是高度依赖于HBM的两个维度的进步的 如果要维持token throuput每一代两倍的增长,实际上意味着,每一代的单GPU上,HBM size X HBM BW带宽之积要增长两倍! 这也是历史上第一次,HBM内存的size可以影响最高的KPI token throughput! 要验证这个理论,可以把Nvidia从A100到Rubin Ultra这几代的token 吞吐throughput,和HBM size X HBM BW 放在同一个图里比较 (见图二) 可以发现,这两个曲线的走势在对数轴上惊人的一致 HBM size x HBM带宽增长的甚至要比token吞吐量更快,毕竟HBM决定的是天花板,实际上这个天花板增长的利用率utilization是很难达到100%的,也就是说,HBM size x HBM 带宽就算增长1000倍,其他算力和架构的配合下,很难把这1000倍的天花板潜力全部榨干 这条曲线不是巧合,而是系统最优化的必然解 throughput = batch × Bandwidth,这就是token factory 经济学最绕不开的第一性原理 —-------- 软件的影响呢?软件的优化会不会降低带宽的需求?降低HBM的需求? 这跟硬件是独立两个维度的,这好像在问,如果CPU上的软件优化了之后跑的更快,是不是CPU就十年不用发展了?反正软件跑的更快了嘛 这样的话,CPU厂还能赚得到钱吗?CPU想要存活下去,只有一条路可走,在标准benchmark,不考虑软件优化,每一代CPU必须要跑分更高,不然就卖不出去 GPU也是一样,软件优化如何,和自己的token吞吐量KPI每年都要大幅进步,是两回事 只要token的需求继续增长,对token throuput的追求就绝不会停止,那么对HBM size X HBM 带宽的追求也不会停止 如果HBM size和HBM 带宽发展慢了,老黄一定会亲自到御三家逼着他们技术升级,因为这就是老黄gpu的天花板,天花板要是钉死了不进步,老黄的GPU还能卖出去吗? 当然了,Nvidia需要绞尽脑汁去从异构计算的架构角度榨取HBM天花板之外的部分,比如LPU就是一个很好的尝试,把Pareto frontier从另一个角度改善了很多 (右半边高token速度的部分) —-------------------------------------- HBM内存已然告别了那个随波逐流的旧时代,在这条由指数级需求铺就的单行道上,以一种近乎宿命的方式走到了产业史诗的主舞台中央 推理范式第一性原理演化到这一步,只要老黄还要卖GPU,HBM就必须翻倍,而且必须代代翻倍。这是supply side的内生压力,与AI需求无关,与宏观周期无关,与hyperscaler的心情也无关 剩下的问题,只有一个: 当需求被物理锁定为指数增长的时候,供给侧的三个玩家,会不会还像过去三十年那样,亲手把自己再拖回一次周期的泥潭?
顯示更多
回顾2025年半导体市场,真的是有太多太多精彩的故事,最大的主题就是: AI需求驱动导致半导体基建的估值体系重构 + 产业链的价值分配重写 从2024年开始,半导体基建正在飞速吞噬整个IT产业利润,SP500里半导体净利润EPS在IT行业里占比,在两年时间从不到20%上升了到了40%,而且还在呈加速上升姿态 半导体整体前瞻利润率从2023年的25%已经升到了2025年11月的43%,已经明显超过了几个互联网巨头的平均利润率,这也印证了半导体利润率超过互联网会是新常态。整个IT产业的利润分配,流向半导体的比例越来越大。 要知道,就算是20~22年的半导体芯片荒,短缺如此严重,半导体的利润率和整个IT利润分配也没有显著增长 这就是故事的上半篇:AI需求驱动导致半导体基建的估值体系重构,不再是互联网时期的基建从属地位 ------------------------ 这个现象背后的逻辑是商业模式随着技术特性的变迁: 互联网时代,每次请求的网络和算力成本,边际成本极低,scaling的效果极好,分发的边际成本几乎为零 在AI时代,这个互联网时代分发边际成本几乎为零利于scalable的特性遭遇了根本性的重大挑战:且不说训练成本从此不是一次性开销而是年年增长,就客户的AI推理请求而言,由于inference scaling成为共识,加上垂直领域仍然需要更大规模的旗舰模型来保持竞争力,推理的成本不会随着硬件算力价格的通缩而同步降低 互联网企业从前的最大成本只有OPEX尤其是SDE人工成本,而现在,互联网公司历史上第一次像半导体厂foundry那样背上高折旧成本的资产负债表,商业模型恨不得要慢慢从“流量 × 转化率”部分转向“每 token 毛利”了 简单的说,互联网时代到AI时代的成本分布,在人力成本opex的基础上又加上了沉重的硬件/算力成本capex(财报里占比:MSFT 33%, Meta 38%)。 上个时代的互联网公司+CSP+SAAS是收租行业里的大赢家,而AI时代,算力(半导体/芯片折旧)成为了新的收租行业,整个IT行业的利润分布发生了剧烈的重新分配(EPS利润流向半导体从20%升到40%而且持续攀升中),这就是半导体基建估值体系重构最重要的原因 --------------- 半导体高利润率的新常态趋势能持续多久? 目前的高溢价来自于前期不计成本的军备竞赛造成的半导体订单积压过多 但很显然,hyperscalers都不愿意当冤大头,都在试图自建ASIC降低成本,那么可以从2030年远期的算力分布来回看这个问题 长线来看,openai已经明牌了标准答案,10GW Nvidia,10GW ASIC,6GW AMD,其他hyperscaler划分比例有类似考虑 比如说,推理端希望ASIC >50%,GPU里再细分的话,AMD和NV(legacy)对半分。训练还是得NV占大头,60%+,剩下的自研ASIC和AMD对半分 2030年按60%推理,40%训练比例划分,算下来NV 38%, ASIC 39%, AMD 23%,跟openAI比例是几乎完全一致的,算是一个标准答案参考值 当然了,微软,Amazon,Google,Anthropic这几家里AMD的比例会比这个标准答案中枢/参考值明显低一些,xAI则是没有ASIC只有Nvidia+少量AMD AMD的风险在于,当2030年再往后的更长期,CSP的in house ASIC越来越成熟(微软除外),推理端ASIC占比可能越来越高,很难有incentive新买入大量GPU了,除非卖的足够便宜 最近风头正劲的TPU呢?Meta是不是要转向TPU?对Nvidia的利润率影响大吗? 实际上,Meta今年capex72B,明年capex110B,未来六年capex平均值可能达到160B附近,而Meta 6年10B的TPU订单算下来年均只有1.6B,而且购买的是TPU云服务,并不是裸TPU 也就是说,Meta这笔TPU订单只占到Meta未来6年capex的1%,并没有严肃的考虑大规模部署,可能只是作为和Nvidia讨价还价的手段而已 另外从Meta最近几个月的招聘广告来看,也并没有看到任何TPU engineer方面的招聘,不像 Anthropic那样从五月就招一堆TPU kernel engineer,十月才宣布大规模采购TPU做训练 所以说,不管原因是diversify供货商,还是给自研ASIC延迟做退路,还是因为AMD的MI350X延迟,Meta买TPU基本上只有一个考虑:增加买Nvidia GPU的议价权,但顶多只有推理份额里能讨价还价,实际效果很有限,对Nvidia利润率影响也很有限。 要知道,22年加密货币熊市矿难的时候,NVDA库存上升到了198天,利润率只是从65%回撤到了56%,算上PE/宏观双杀股价才从300变100,现在一直供不应求,利润率没道理能降下来 再加上TPU v8设计过于保守(没用HBM4),Kyber rack的Rubin方案会比TPU v8的TCO更好,到头来最后还是得继续依赖Nvidia,很难议价。只要Nvidia继续保持这样的大踏步前进,竞争对手其实要跟上还是不容易的。 总之,一方面,全产业链瓶颈,比如cowos扩张都很谨慎,供不应求的状态还能持续多年。 另一方面,AI变现的利润曲线和硬件投入曲线存在“时间错配”,应用端的增长曲线会落后几年,只要这个应用端和基建端的增长曲线的时间错位依旧存在,半导体在IT行业的利润分配就会一直占优势。 从OpenAI的到2030年的投入曲线来看,这个时间错位至少要持续到2030年附近。也就是说半导体行业的超级扩张期带来的在IT产业利润划分的主导地位,目前看至少能持续到2030年 而半导体高利润率可能会维持的更长远一些,因为从互联网时代一次性基建属性变成了现在的收租基建属性 --------------------------------------------------- AI 不是只养活了 GPU,而是在用算力预算把“能把电变成 token 的每一环”都抬了一轮,从内存,存储,互联,光纤,电力,储能…..等等 上半篇讲完了“半导体吞噬IT利润”,那么下半篇讲的就是“AI算力价值溢出效应(Spillover Effect)重塑半导体内部格局”:GPU算力增长 -> 内存/存储/互联/CPU瓶颈 -> 溢出效应 -> 结构性机会 2025 年更有趣的故事,是巨大的行业红利在半导体内部怎么诞生结构性新机会,比如说,一个super cluster需要几个数据中心互联,光纤互联的长度需要上百万mile这个级别,这就是新机会 半导体产业链的结构性趋势带来的新机会,最典型的例子就是内存(DRAM/HBM)和存储(SSD),HBM的需求增长太夸张,连带挤压DDR4/5产能,直接让以周期性为标志的内存行业甚至喊出了“周期不存在”了,Hynix因为在HBM上领先,甚至都开始憧憬起了几年后年利润1000亿美元,妥妥一个万亿市值的公司 这两个板块背后,是结构性趋势的转变:AI workload从训练逐渐往推理延申,推理比例越来越大。 而推理是一个非常纯粹的吃内存带宽速度(memory bound)的事情,可以说带宽速度=token/s。模型尺寸越来越大,以及上下文context length的增加,对内存的尺寸要求也相应增大,导致了内存的需求激增:推理即内存 下一代的的GPU/ASIC内存已经成了暴力美学,配备的内存size之巨大,是三年前无法想象的,回看22年H100的80GB简直像个玩具,这才几年就增长了十倍: Nvidia Ultra Rubin - 1024GB HBM Qualcomm AI200 - 768GB LPDDR AMD MI400x - 432GB HBM 内存的另外一个潜在的爆发点在端侧,也就是手机/PC/汽车/机器人的端侧LLM,这两年主流的手机旗舰机已经从6GB升级到了8GB/12GB/16GB,提前为可能的端侧LLM生态做准备,毕竟手机算力下一代就能达到150TOPS量级,妥妥的桌面级,非常暴力 潜力上来说,端侧内存升级是比云端内存增量要更大的市场,毕竟端侧终端device的数量太惊人了,每年都是billion级别,一旦端侧LLM生态繁荣起来,内存用量翻倍轻而易举,针对端侧低功耗内存/存算一体的各种设计都会跟上 但端侧genAI的软件生态,似乎明显滞后,一直比我想象的进度要慢,可能是因为这方面还处于摸索期,并没有云端那么确定的ROI,厂商们在投入上都很谨慎,我在23~24年时候看好27年,可能还是太乐观了 互联网->移动互联网用了10~15年,端侧genAI/LLM可能也需要7~10年,可能得等云端ROI开发的差不多了,边际收益下降了,才能轮得到端侧genAI/LLM拿到开发资源,跑通端侧ROI。 -------------------------------------- 另一个2025年半导体内部结构性转变的故事是NAND存储,特别是企业级eSSD硬盘 结构性趋势来源也是同一个,AI workload的推理需求越来越大。内存红利也外溢到了SSD存储,甚至HDD存储,因为内存不够用就用高速SSD作为多级缓存 主要逻辑是AI推理过程中内存溢出KV cache offloading到下一层SSD存储,以及向量数据库检索/indexing,都在增加SSD存储的需求 Micron财报说的精准又直白:“AI inference use cases such as KV cache tiering and vector database search and indexing, are driving demand for performance storage.” 至于为什么存储价格在第四季度才爆发,这需要区分一下合约价格和现货价格,合约价格涨幅会温和一些,就算是最紧缺的企业级eSSD合约Q4上涨大概25%。而当NAND产能在2025年被合约慢慢的吃光,现货的价格就造成了观感上强烈的冲击,一个月上涨50%以上。 另一个未经验证的逻辑是多模态的爆发,特别是AI图片和AI视频的需求爆发,也会加剧存储的短缺,我觉得这条线只能说未来可期,但目前的视频/图片精细程度,可能还不到当年GPT3的水平,要达到出圈效果还需要一些时日。 ------------------------ 那么下一步还有什么趋势转移带来的半导体结构性的机会呢 那么就要先看下一步AI推理端的需求趋势是什么,毫无疑问,agentic flow的比例会越来越大,2025并不是year of agent,而是一个decade of agent 从CPU视角去看agentic workload,routing和工具处理都在CPU上,如果把常用的agentic框架做profiling,比如SWE-Agent, LangChain, Toolformer,CPU最长可以占到90%的E2E端到端延迟,throughput瓶颈也更多的卡在CPU,甚至CPU能耗也超过了总能耗的40% Agentic AI目前是一个CPU瓶颈更多的事情,在 agentic 框架里,CPU 是永远在忙的总指挥orchestrator, 很可能会成就CPU需求的新一波回暖 AMD 2025年Q2财报(8月5日),Lisa Su明确表述了这一现象:​"In particular, adoption of agentic AI is creating additional demand for general-purpose compute infrastructure, as customers quickly realize that each token generated by a GPU triggers multiple CPU-intensive tasks." "agent AI的采用正在对通用计算基础架构产生额外的需求,因为客户很快就意识到GPU产生的每个令牌都会触发多个CPU密集型任务。" ​Q3 财报里Lisa又明牌了一次CPU TAM increasing due to Gen AI. "Many customers are now planning substantially larger CPU build outs over the coming quarters to support increased demands from AI, serving as a powerful new catalyst for our server business." Nvidia也是把agent flow视为CPU需求,GB200/300 架构配置的CPU比例也比以往大的多,36颗 Grace CPU : 72颗 Blackwell GPU,直接达到了1:2的水平,AMD的路线则是用1~4个256核的EPYC去服务MI400系列72~128个GPU 以后的硬件架构,一定会往优化agent workload方向发展,比如agent task graph的调度和load balancing,CPU/GPU协同micro-batching 算力上的比较,说不定以后也会摆脱现在的纯GPU token rate比较,转向整个系统级全栈agentic benchmark比较. -------------------------- 半导体结构性转变带来的机会同时,下一步,可能也会带来一些意想不到的次生效应 云端AI数据中心需求爆发,造成内存和存储的暴涨,给消费电子的成本带来了很大压力,在2026年,这也许会演变成消费电子产业潜在的黑天鹅 PC厂商最近的股票大跌,也是这个原因。HP已经说了要减少内存配置,暗示要把PC重回8GB内存+256GB存储的时代了。 DRAM内存和存储再这么涨下去,可能会出现很离谱的情况:内存/存储现货价格比CPU和GPU还要更贵。尴尬的是,这可能直接延缓了消费电子期望的AI PC的进程,毕竟大内存是更有利AI PC的表现力的。 夸张的说,每个PC厂商和手机厂商的员工,甚至是消费电子厂商的员工,都应该买入存储和内存,作为职业风险对冲 明年年初开始,安卓阵营的内存以及存储成本要压不住了,三星,小米的手机售价都提高的话(美国市场现在已经提高不少了),利好最大的就是苹果 苹果的内存产能,nand产能都是专属长约锁价特供的,顺带还把Kioxia给坑了好多不涨价产能,导致苹果的成本优势进一步扩大,苹果全球手机销量市占率增长可能会非常可观,接下来一阵子可能会是iphone辉煌的时光。 ----------------------- 2025年半导体市场真的是太多精彩的故事了,Nvidia/AMD/TPU和各家hyperscaler的恩怨情仇引得各路下注的吃瓜群众心情跌宕起伏。 HBM/内存厂商吃到了memory-bound的红利,NAND厂商意外收获了KV cache的溢出效应,CPU在沉寂近十年后,可能会因agent orchestration再次回到增长叙事的中心 不再是Nvidia/AVGO几家算力厂商独大,而是AI workload算力价值溢出后的每一次演进,从训练到推理,从文本到多模态,从单模型调用到agentic flow,都在重写产业链的价值分配。 云端AI的繁荣正在挤压消费电子的生存空间——当PC厂商被迫讨论重回8GB时代,苹果却因供应链优势坐收渔利。这场算力军备竞赛的次生效应,可能在2026年以意想不到的方式重塑整个消费电子格局 半导体的故事不再是一条单线,而是一张持续自我重构的网。而 2025 年,大概只是合纵连横的第一回合
顯示更多
0
78
1.2K
353
轉發到社區