TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
rick awsb ($people, $people)
@rickawsb
瞎读书,乱解释,买啥亏啥,宏观小学生,政经评论外卖员,正在ai中慢慢迷失自我,crypto holder, defi farmer, not financial advice 非投资建议
参加 November 2017
12.3K
フォロー中
148.9K
ファン
rick awsb ($people, $people)
@rickawsb
2026.08.07 15:00
HBF不是更便宜的HBM HBF,是在hbm和ssd之间插入一个新的层。 解决的是hbm不够,和ssd太“慢”的问题 但 HBF 仍然是 NAND Flash,这一点决定了其适合存模型权重存储。 Weights 基本属于 Write Once, Read Many,很少修改。这几乎是 NAND 最理想的 workload。未来数 TB 甚至十几 TB 的模型,可以大量驻留 HBF,HBM 只保存真正需要高速访问的 hot working set。 但KV Cache 会随着 token 生成不断写入,Session 结束后又被释放。NAND 不像 DRAM 可以任意覆盖,它存在 page/block、erase-before-write 和有限 P/E cycle。如果简单把 HBF 当成 DRAM 使用,很容易经常移动、擦除并重写大量数据,最终浪费带宽、增加功耗并缩短寿命。 这也是 HBF 规范开始强调 Weights 与 KV Cache 分 Channel 的原因。两者读写模式和生命周期完全不同,不能再粗暴地混在一个资源池里。 但 KV Cache 未必因此不适合 HBF。它有一个重要特点:很多情况下并不是反复覆盖,而是 Append → Read Many → Bulk Release。如果 Runtime 能进行连续写入、批量回收,再结合 wear leveling、over-provisioning 和 hot/cold KV 分层,耐久性就可能从物理死穴变成工程优化问题。 这也揭示了 HBF 以及各种存储优化的一个新趋势:AI 内存正在从硬件问题变成软硬件协同问题。 未来 GPU 的内存体系可能变成: SRAM → HBM → HBF → SSD HBM 保存最热的数据;HBF 保存大量权重和较冷 KV;SSD 保存更冷的数据。Compiler 和 Runtime 自动决定数据放在哪里、何时 Prefetch、何时迁移、何时释放。 因此接下来存储架构设计的核心是,谁能最高效地管理数 TB 甚至数十 TB 的异构 AI 内存。 和历史上所有计算机架构优化的底层原因一样,这是资源不足逼出来的“创新” 当然,这并不能解决存储瓶颈,只能一定程度的缓解,或者说,用相对便宜量大的存储顶一部分昂贵且量小的存储的需求
もっと見る
0
0
46
40
11
コミュニティへ転送
人気のあるユーザー
New York Post
@nypost
4.1M ファン
billboard
@billboard
16.5M ファン
オリコンニュース
@oricon
1.9M ファン
一劍浣春秋
@chee828
230.6K ファン
Reuters
@Reuters
26.3M ファン
TVer新着
@TVer_info
99.5K ファン
ATEEZ(에이티즈)
@ATEEZofficial
4.8M ファン
BTS_official
@bts_bighit
45.3M ファン
BTS JAPAN OFFICIAL
@BTS_jp_official
13.7M ファン
Hello! Project Link
@UpFrontLink
15.5K ファン
INI
@official__INI
510.2K ファン
Pirat_Nation 🔴
@Pirat_Nation
341.9K ファン
BOYNEXTDOOR
@BOYNEXTDOOR_KOZ
870.2K ファン
i-dle (아이들)
@official_i_dle
2.4M ファン
BABYMONSTER
@YGBABYMONSTER_
956K ファン