註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Pike时政财经分析
@BigbirdflyChan
美股资深研究者和投资者,广泛阅读、持续学习,有自己投资方法和逻辑。会员群1000刀/年,还有少数名额。
加入 June 2011
586 正在關注    21K 粉絲
未来的大语言模型需要更多存储,一是模型越做越大;二是对话越长,模型保存上下文的KV cache 缓存也会成倍增长。结果HBM需求倍增增,DRAM和SSD的需求也被间接带动。
顯示更多
AI needs mo memory, mo memory. SRAM fast but limited (Cerebras 🥴). Hot Chips conference