Register and share your invite link to earn from video plays and referrals.

Macro_Lin
@LinQingV
Ex-quant & PM|AI chip design|Semis × Capital Markets|Not Financial Advice
Joined February 2019
1.5K Following    55.1K Followers
今天新闻流里最有价值的一条就是 ,SK海力士和闪迪在FMS 2026上发布了全球首个HBF开放技术标准。Google和Tenstorrent也参与技术验证和标准建立。 规格具体如下:存储介质3D NAND Flash,堆叠支持8层和16层两种配置,单颗容量最高512GB,带宽分三个等级覆盖0.4TB/s到3.0TB/s。接xPU的接口选了UCIe,GPU、CPU、各类AI加速器都能接入。联盟成员包括Google和Tenstorrent,Google DeepMind的工程师会在FMS上参加一场关于HBF突破memory wall的panel。 HBF的定位比较清楚,在HBM和SSD之间插入一个新的存储层级。HBM带宽高但容量有限、成本极高。SSD容量大但延迟太高。HBF用NAND的成本结构去逼近HBM的带宽能力,同时容量远超HBM。 为什么这个新闻很重要?因为MoE已经成了frontier model的主流架构,而MoE的参数结构天然适配HBF。 拿Kimi K3举例,2.8T参数,896个专家每次激活16个,单token实际参与计算的参数大概50-104B。剩下占总量95%以上的专家权重,读多写少,稀疏访问,每次推理只用到一小部分。对延迟的容忍度远高于KV cache,但对容量的要求很大。 你今天想跑一个K3,2.8T参数分布在几十张卡上,专家路由的跨卡通信量极大,基本上要上英伟达NVL72这种scale-up系统才能跑。一套NVL72的采购成本是千万美元级别,小团队和一般公司根本不用考虑。 HBF改变的可能还不只是成本,是MoE的部署方式本身。现在跑大MoE模型,专家权重分散在多张卡上,推理时跨卡通信量很大,对NVLink和网络带宽的依赖非常重。HBF通过UCIe直接挂在xPU旁边,每颗最高512GB,相当一部分专家可以变成本地访问,不用走卡间互联。专家并行从大规模跨卡通信问题,部分转化成了本地HBF读取问题。这对部署门槛的影响可能比单纯降成本还大。 存储成本从纯DRAM/HBM变成DRAM+NAND混合,量级差距10倍以上。DRAM只留给KV cache和当前激活的参数,50-100GB可能就够。 MoE的参数量还在膨胀,K2是1T,K3已经2.8T,10T级别的MoE大概率两三年内就会出现。如果推理侧存储还是只能靠DRAM和HBM,成本门槛只会越来越高。HBF提供了让推理成本和参数膨胀脱钩的可能性。 时间线上,SK海力士给的full commercialization目标是2030年前后,但闪迪今年下半年可能已经在日本建pilot line,商用有机会提前到2027年。
Show more