Register and share your invite link to earn from video plays and referrals.

marlin(蓝v互关)
@zhangyanlongco1
一个不想只写代码的Infra工程师。 大模型训练、推理优化、AI投资判断,讲我真懂的部分。 清华硕士,某自动驾驶公司做大模型Infra。
Joined June 2014
1.3K Following    256 Followers
整理成一条 Thread,更适合直接发: 很多人现在把 DRAM、HBM、显存、KV Cache 混在一起讲。 但这几个概念其实不是一回事。 简单说: HBM 本质上也是 DRAM。 它不是一种完全不同的存储,而是 DRAM 的一种“高带宽形态”。 DRAM 可以粗略分成: DDR4 / DDR5:普通内存 LPDDR:手机、移动设备内存 HBM:AI GPU 上用的高带宽显存 所以 HBM 属于 DRAM 家族。 但问题在于: 大家都能做 DRAM, 不代表都能做好 HBM。 Samsung、SK hynix、Micron 三家都覆盖 DRAM / LPDDR / HBM。 其中 SK hynix 目前是全球 HBM 龙头,尤其 HBM3 / HBM3E 深度绑定 NVIDIA AI GPU。 所以这轮 AI 行情里,海力士本质上是: AI HBM 核心受益者。 Micron($MU)也在吃 AI Memory 红利,只是 HBM 节奏相比海力士略慢。 再看长鑫。 长鑫现在公开主线还是 DDR4 / DDR5 / LPDDR,也就是普通 DRAM。 所以不能简单写成: “长鑫 = HBM 核心玩家”。 这个说法不严谨。 更准确的表述应该是: 长鑫受益于 AI 带来的整体 DRAM 周期回暖,以及服务器内存需求提升。 至于 KV Cache 到底吃 HBM 还是 DRAM? 答案是: 训练阶段主要吃 HBM。 因为训练在 GPU 内部进行,需要超高带宽、低延迟和大规模并行,KV Cache 主要放在 GPU HBM 里。 但推理阶段开始变复杂。 长上下文、Agent、多轮对话、大规模 Serving,会让 KV Cache 变得越来越大。 当 GPU HBM 不够时,系统就会开始往 CPU DRAM、Host Memory、分层缓存去扩展。 所以 AI 推理时代,Server DRAM 的重要性正在提升。 这也是为什么很多人开始重新关注 DRAM。 更准确的投资线索不是: “长鑫 = HBM 龙头”。 而是: AI 训练拉动 HBM, AI 推理拉动 HBM + Server DRAM + 分层 Memory。 所以把“HBM 相关产业链”改成“AI 存储产业链”,会更准确。 长鑫的核心逻辑目前还是: DRAM 周期 + AI Server + 国产替代。 不是 HBM 龙头。 #DRAM# #HBM# #AI# #长鑫科技# #半导体# #存储芯片#
Show more