fin
@fi56622380
立场不重要，事物的运行逻辑和内在规律才是更值得关注的部分 |
读过三个不同专业的学位，体验过两个大洲的尘世生活，设计过一次火星车芯片，还没有去看过心心念念的冰川
加入 March 2022
525 正在关注 77.7K 粉丝
只要transformer + KV cache在架构上仍然存在
单GPU的HBM就会指数型增长
只要token维持指数增长，基本等价于你说的
1. 需求等价近似无穷大
2. HBM在GPU里的成本会一直占绝对大头
可能等再过几代，单个GPU HBM size达到8T，HBM占整个GPU成本90%
技术原理见引文，欢迎拍砖
所以关键可能并不在于你说的这两点，因为这两点都是可以从第一性原理出发推演出来的。更重要的前提是，token是否真的能继续维持指数增长很多年
显示更多
