英伟达最新的GPU少用Dram是怎么回事?昨晚SemiAnalysis这个报道说英伟达主动将下一代AI超级计算机平台——Rubin NVL72机架的CPU侧SOCAMM DRAM容量砍半。消息一出,整个存储板块大跌。详细聊聊:
1、这到底在说什么?
NVIDIA 2026年主力AI机架平台,一柜装72颗Rubin GPU + 36颗Vera CPU,通过NVLink全互联,形成“一块巨型GPU”。GPU侧用HBM4(每柜约20.7TB),CPU侧用SOCAMM——一种可插拔的LPDDR5X系统内存模块,便于维护和故障隔离。
原计划:每颗Vera CPU用8个192GB SOCAMM模块(最高约1.53TB/CPU),全柜CPU侧总DRAM约55TB。
现在:大部分系统切换到96GB SOCAMM模块,全柜CPU侧DRAM降至约28TB(砍~50%)。
关键不变:GPU的HBM4容量和带宽完全没动,核心算力(训练/推理FLOPS)不受影响。
SemiAnalysis估算机架硬件成本(BoM):从$7.6M 降到 $6.8M(省约10%)。
简单说英伟达在“非核心”CPU系统内存上主动降配,只为更快、更稳地出货整机。
2. 核心原因是什么?
其实本质是供应链现实打脸,LPDDR5X高密度SOCAMM严重短缺。这次下调原因不是需求不足,是供给瓶颈。16 层超高密度 LPDDR5X 极其困难的封装良率,Hynix/三星无法提供足够数量的192G内存给到客户,为了保证所有Rubin GPU都能有对应的DRAM可以用,英伟达主动进行供应链风控,下调了单机柜用量
所以也是英伟达的战略选择,与其等高规格内存、导致整柜延误/缺货,不如主动降到96GB版本,确保所有Rubin GPU都能配齐系统内存,快速进入量产/交付阶段。
这其实是变相验证了,当下存储领域处于“供给结构性短缺”状态,而AI对内存需求则是爆炸式增长(HBM + LPDDR5X)。特别是hbm配置完全没有变动
3、而且还有其正面影响
1)加速Rubin部署:成本更低、TCO更好, hyperscalers(MSFT、CoreWeave、xAI等)更愿意大规模采购。MSFT已完成首柜bring-up,降配后量产节奏更快。
2)客户获利:每柜省80万刀,单GPU-hour便宜0.26刀,长期token economics更好,推动更多AI投资。
3)英伟达生态强化:继续把控供应链(直接买内存),进一步巩固AI工厂主导地位。
当然CPU侧DRAM配比下降,内存密度降低(原55TB,现在28TB),对极长上下文推理、多Agent并行、超大KV Cache等场景会有影响(可能需要更多跨节点通信或SSD offload)。这应该会利好SSD和光连接用量上升:
逻辑当在于 CPU 侧用于承载庞大上下文(KV Cache)的系统内存缩水后,GPU算力瓶颈将无可避免地向SSD侧和互连侧转移,CSP需要采购更多的高性能SSD或者采用更高性能的柜内连接(Scale Up)连接方案,利好NAND企业和光链接企业的需求。
本条由
@bitget_zh赞助,「Bitget 买美股:秒级入场,丝滑交易 」