註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 HBF
HBF 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 HBF 的搜尋結果
HBF不是更便宜的HBM HBF,是在hbm和ssd之间插入一个新的层。 解决的是hbm不够,和ssd太“慢”的问题 但 HBF 仍然是 NAND Flash,这一点决定了其适合存模型权重存储。 Weights 基本属于 Write Once, Read Many,很少修改。这几乎是 NAND 最理想的 workload。未来数 TB 甚至十几 TB 的模型,可以大量驻留 HBF,HBM 只保存真正需要高速访问的 hot working set。 但KV Cache 会随着 token 生成不断写入,Session 结束后又被释放。NAND 不像 DRAM 可以任意覆盖,它存在 page/block、erase-before-write 和有限 P/E cycle。如果简单把 HBF 当成 DRAM 使用,很容易经常移动、擦除并重写大量数据,最终浪费带宽、增加功耗并缩短寿命。 这也是 HBF 规范开始强调 Weights 与 KV Cache 分 Channel 的原因。两者读写模式和生命周期完全不同,不能再粗暴地混在一个资源池里。 但 KV Cache 未必因此不适合 HBF。它有一个重要特点:很多情况下并不是反复覆盖,而是 Append → Read Many → Bulk Release。如果 Runtime 能进行连续写入、批量回收,再结合 wear leveling、over-provisioning 和 hot/cold KV 分层,耐久性就可能从物理死穴变成工程优化问题。 这也揭示了 HBF 以及各种存储优化的一个新趋势:AI 内存正在从硬件问题变成软硬件协同问题。 未来 GPU 的内存体系可能变成: SRAM → HBM → HBF → SSD HBM 保存最热的数据;HBF 保存大量权重和较冷 KV;SSD 保存更冷的数据。Compiler 和 Runtime 自动决定数据放在哪里、何时 Prefetch、何时迁移、何时释放。 因此接下来存储架构设计的核心是,谁能最高效地管理数 TB 甚至数十 TB 的异构 AI 内存。 和历史上所有计算机架构优化的底层原因一样,这是资源不足逼出来的“创新” 当然,这并不能解决存储瓶颈,只能一定程度的缓解,或者说,用相对便宜量大的存储顶一部分昂贵且量小的存储的需求
顯示更多
0
46
40
11
轉發到社區
白线 WhiteLine Daily:HBF 不是用 NAND 替代 HBM,而是把部分模型权重搬到 xPU 旁边。SK 海力士与闪迪已经发布首个开放标准,但距离送样和收入兑现仍有时间。短期更值得关注闪迪财报、NAND 价格和数据中心 SSD 表现,HBF 能否带来新一轮重估,最终还要看订单。 阅读全文:
顯示更多
SK海力士联手闪迪发布全球首个HBF标准规范,谷歌加入生态 最高容量512GB、带宽最高3TB/s,并引入Google和Tenstorrent参与生态建设。 HBF目前主要是针对HBM装不下、SSD又不够快的AI推理数据,未来可能成为GPU旁边的新一层大容量高速存储。
顯示更多
此时此刻想要你的舌头感受下温度
0
5
14.6K
1.4K
轉發到社區
今天新闻流里最有价值的一条就是 ,SK海力士和闪迪在FMS 2026上发布了全球首个HBF开放技术标准。Google和Tenstorrent也参与技术验证和标准建立。 规格具体如下:存储介质3D NAND Flash,堆叠支持8层和16层两种配置,单颗容量最高512GB,带宽分三个等级覆盖0.4TB/s到3.0TB/s。接xPU的接口选了UCIe,GPU、CPU、各类AI加速器都能接入。联盟成员包括Google和Tenstorrent,Google DeepMind的工程师会在FMS上参加一场关于HBF突破memory wall的panel。 HBF的定位比较清楚,在HBM和SSD之间插入一个新的存储层级。HBM带宽高但容量有限、成本极高。SSD容量大但延迟太高。HBF用NAND的成本结构去逼近HBM的带宽能力,同时容量远超HBM。 为什么这个新闻很重要?因为MoE已经成了frontier model的主流架构,而MoE的参数结构天然适配HBF。 拿Kimi K3举例,2.8T参数,896个专家每次激活16个,单token实际参与计算的参数大概50-104B。剩下占总量95%以上的专家权重,读多写少,稀疏访问,每次推理只用到一小部分。对延迟的容忍度远高于KV cache,但对容量的要求很大。 你今天想跑一个K3,2.8T参数分布在几十张卡上,专家路由的跨卡通信量极大,基本上要上英伟达NVL72这种scale-up系统才能跑。一套NVL72的采购成本是千万美元级别,小团队和一般公司根本不用考虑。 HBF改变的可能还不只是成本,是MoE的部署方式本身。现在跑大MoE模型,专家权重分散在多张卡上,推理时跨卡通信量很大,对NVLink和网络带宽的依赖非常重。HBF通过UCIe直接挂在xPU旁边,每颗最高512GB,相当一部分专家可以变成本地访问,不用走卡间互联。专家并行从大规模跨卡通信问题,部分转化成了本地HBF读取问题。这对部署门槛的影响可能比单纯降成本还大。 存储成本从纯DRAM/HBM变成DRAM+NAND混合,量级差距10倍以上。DRAM只留给KV cache和当前激活的参数,50-100GB可能就够。 MoE的参数量还在膨胀,K2是1T,K3已经2.8T,10T级别的MoE大概率两三年内就会出现。如果推理侧存储还是只能靠DRAM和HBM,成本门槛只会越来越高。HBF提供了让推理成本和参数膨胀脱钩的可能性。 时间线上,SK海力士给的full commercialization目标是2030年前后,但闪迪今年下半年可能已经在日本建pilot line,商用有机会提前到2027年。
顯示更多
0
14
80
5
轉發到社區
针对英伟达(NVIDIA)即将发布的 Feynman(费曼) 架构,整理了关于三种记忆体SRAM,HBM5,HBF在费曼架构中的协作关系。很多人被这种眼花撩乱的记忆体搞懵了,我来给你们缕顺它们。 一、 3D SRAM:纳秒级“热记忆”突触 (计算核心的物理延伸) 核心功能: 消除访存延迟:提供 < 1ns 的响应,存储单周期内的**瞬时激活值(Activations)**与指令碎片。 高速缓冲池:作为 HBM5 与 Tensor Core 之间的桥梁,通过 SoIC(混合键合) 直接堆叠在 GPU 核心上方,确保计算单元零空转。 技术规格: 带宽/容量:片上带宽 > 150 TB/s,单片容量 1.5 GB - 3 GB。 工艺:采用 2nm / 3nm 工艺,由台积电(TSMC)主导 SoIC 堆叠。 厂商格局:海力士与美光聚焦高密度 6T SRAM 单元以优化热功耗;三星则利用 IDM 优势自研定制化 SRAM 晶圆。 二、 HBM5:费曼架构的“温记忆”主干 (存内计算与 3D 键合巅峰) 核心功能: 模型全集载体:存储 全量权重(Weights) 与 活跃 KV 缓存。 存内计算 (PIM):底层 Base Die 由英伟达定制,支持在存储端直接进行向量加法等预处理,释放 GPU 算力。 技术规格: 性能:单芯片带宽 15 - 20 TB/s,单卡容量可达 1 TB。 互联:全面转向 Hybrid Bonding(混合键合),支持 20-24 层 堆叠。 厂商路径: SK 海力士:依靠 Advanced MR-MUF 向混合键合平滑过渡。 三星:路线最激进,主导 16 层以上全混合键合。 美光:主攻低功耗控制(低 pJ/bit)。 闪迪/西数:通过 CBA 技术 积累提供高速逻辑层 IP。 三、 HBF (High Bandwidth Flash):智能体“冷记忆”仓库 (长上下文存储的终极方案) 核心功能: ICMS 平台核心:专门存储 非活跃 KV 缓存,解决 AI Agent 数月跨度的对话记忆。 冷热置换:通过 CXL 3.1 协议实现与 HBM5 的数据无损迁徙。 技术规格: 性能:读取速率达 1.6 - 2 TB/s(接近 HBM),容量高达 8 TB - 16 TB。 耐久度:内置硬件磨损均衡引擎,寿命达普通 NAND 的 5 倍。 厂商路径: 闪迪/西数:领军者,将 HBF 控制器直接键合在 BiCS NAND 下方。 SK 海力士:开发 HBF-NAND 堆栈,力求外形尺寸与 HBM 统一。 三星:推出低延迟 Z-NAND 混合体,缩小与 DRAM 的性能鸿沟。 四、 协作关系总结:AI Agent 任务流 在英伟达费曼(Feynman)架构的 AI Agent 任务流中,三者构建了从“神经反射”到“深度思考”的记忆闭环:3D SRAM 以 < 1ns 的延迟在芯片内实时处理瞬时激活值与指令,确保计算核心零停顿;HBM5 作为封装内的动力心脏,通过 \sim 5 TB/s 的带宽承载全量模型权重与活跃 KV 缓存,维持推理逻辑的连贯性;而 HBF 则作为系统级的长期记忆库,利用 8-16 TB 的海量空间存储非活跃上下文,通过 CXL 3.1 协议与 HBM5 实现数据的冷热置换,共同支撑起智能体跨越时空的复杂任务处理能力。
顯示更多
0
17
189
36
轉發到社區
基于未来是视频时代不是文本时代, 先说结论:闪迪和海力士研究的HBF会成为未来AI领域主导的存储方案。 1.闪迪的 Optimus HBF Gen1分析; 单堆栈容量: 起步 512GB(未来可达数 TB),是当前 HBM 容量的 10 倍以上。 带宽水平: 目标带宽超过 1.6 TB/s,虽然延迟略高于 HBM,但读速度已极度接近。 物理结构: 采用 16 层以上的高速 NAND 堆叠,支持通过 TSV(穿硅通孔)技术直接与 GPU/NPU 互联。 成本优势:HBF 的单位成本仅为 HBM 的几分之一。 2. 视频 AI 场景下的优劣分析; HBM 的优势:实时生成与扩散模型的“加速器” 优势: 视频 AI(如 Sora、Runway、SeenDance 2)在生成每一帧时,需要进行海量的矩阵运算和参数读取。HBM 的低延迟确保了显存与 GPU 核心之间的数据交换没有“毫秒级”卡顿。 劣势: 容量焦虑。目前顶级 HBM(如 H200)也就 141GB,这导致长视频生成或 4K 高质量视频训练时,显存经常爆掉(OOM),必须通过昂贵的集群来拆分任务。 HBF 的优势:打破“视频素材墙”的“大水管” 优势: 视频数据极其庞大。HBF 允许 AI 模型直接在存储层进行“近内存计算”。 超长视频生成: 当 HBM 装不下权重模型时,HBF 充当“二级显存”,其高带宽保证了模型参数加载到 GPU 的过程不需要像普通 SSD 那样等待。 视频特征检索(RAG): 在处理海量视频素材库时,HBF 能以超高速扫描 TB 级数据,寻找匹配的素材特征,这是传统存储无法想象的。 劣势: 虽然带宽上去了,但 寻址延迟 依然高于 HBM。对于需要极高实时性反馈的 AI 交互场景,HBF 会有微小的滞后。 3. 视频 AI 场景下的“成本帐” 假设你要搭建一个能够实时生成 10 分钟 4K 视频的 AI 工作站: 全 HBM 方案: 你需要部署多块 H200/B200 显卡,仅显存成本可能就超过 5 万美元,且依然可能因为显存容量限制(141GB 封顶)无法处理超长上下文。 HBM + HBF 混合方案: 你只需要少量 HBM 负责核心运算,配合 4TB 的 HBF 存储 作为“大显存池”。总成本可能降至 1.5 万美元 左右,且能处理比前者多出 30 倍 的视频素材量。 根据以上我们可以很直观的判断出, 未来AI存储发展方向至少会演化成少量的HBM负责核心计算,搭配海量的HBF存储芯片。 那么现阶段谁最先掌握了的HBF全栈技术, 谁就能在接下来的视频AI浪潮中获取海量的利润! 毫无疑问现在西部数据wdc的彻底退出, 相当于给闪迪的估值模型松绑, 是闪迪真正走向堪比英伟达一样巨头的起点。
顯示更多
存储需求恐怕又要因为seedance2的出现指数级暴增. gpt3.5带来了文本时代,真正的视频时代,是seedance2带来的. 同样是几个提示词,视频ai消耗的存储将达到几百m,随着ai视频制作时长的增加这个体积还会更大. 这次衍生的存储需求会是原来文本的很多倍. 毕竟现在刷视频成瘾的群体是真多, 全球范围内从婴幼儿到老头老太太谁都逃不过,他们可能不爱看书不爱看新闻但绝对爱刷短视频. 基于此,又会产生新的投资需求. 视频ai需要的存储类型跟文本ai肯定有差异. gemini给出的现阶段抖音与yputobe采用的存储架构实录. 目前的视频存储并非单一介质,而是复杂的多级冷热分层架构 (Tiered Storage Architecture)。 A. 架构组成 1. 极热层 (Ultra-Hot Tier):用于应对瞬时爆发的流量(如顶流网红刚发布的视频)。 • 类型:NVMe SSD 集群 + 内存级缓存(Redis/Memcached)。 • 核心指标:**IOPS(每秒输入输出操作数)**和极低的延迟。 2. 热/温层 (Warm Tier):用于存放日常活跃观看的视频。 • 类型:高性能企业级机械硬盘 (HDD) 或大容量 QLC SSD。 • 核心指标:吞吐量 (Throughput) 与成本的平衡。 3. 冷层 (Cold/Archive Tier):用于存放数年前、几乎无人问津的长尾视频。 • 类型:高密度氦气硬盘 (HDD) 甚至物理隔离的磁带机。 • 核心指标:每 TB 持有成本 (TCO)。 B. 痛点:I/O 墙与存储孤岛 传统架构下,存储是“静态”的。但 AI 视频时代(SeenDance 2)要求存储从“仓库”变成“流水线”,这直接导致了存储逻辑的崩溃。 根据以上视频公司存储的现状与困境可以延伸出其三个未来发展方向. 视频 AI 存储的三个未来发展方向 1.方向一:从 HDD 到全闪存化 (All-Flash Data Center) AI 视频训练需要并行读取海量高清素材。传统 HDD 的寻道时间太慢,会拖累昂贵的 GPU 算力。全闪存阵列 (AFA) 将从“奢侈品”变成视频公司的“基础设施”。 2.方向二:CXL 技术下的“内存-存储”融合 Compute Express Link (CXL) 协议将打破内存和 SSD 的界限。对于 SeenDance 2 这种需要处理实时动作对齐的模型,数据在 SSD 和 HBM 之间的搬运速度决定了生成的流畅度。 3.方向三:近存计算 (Computational Storage) 与其把巨大的视频数据搬到 CPU 处理,不如直接在存储主控芯片上进行初步的数据预处理(如视频抽帧、格式转换). 基于以上及图片参数对存储公司作核心竞争力与趋势分析排序评级. SK海力士(S级): 凭借 Solidigm 的 QLC 容量优势和 HBM 的统治地位,卡死了“大容量读取”和“算力吞吐”两个核心环节。视频 AI 训练集的 EB 级存储首选。 三星Samsung (A+级): 读写最均衡。其 PCIe 5.0 写入速度冠绝群雄,是 SeenDance 2 生成 4K/8K 视频流时最佳的“高速缓冲区”。 闪迪SanDisk (A级): 独立后的黑马。其 HBF(高带宽闪存) 旨在打破内存墙,让 SSD 直接参与 AI 推理,极大利好 64G 内存(如你的 M4 Pro)在本地处理大模型视频生成。 美光Micron (A级): 写入寿命与能效比极高,适合 24/7 不间断生成视频的云工厂。 • WDC (B+级): 专注于 CXL 协议,解决数据中心内内存与存储的动态调配问题。
顯示更多
0
24
174
35
轉發到社區
明天的比賽請問怎麼輸?有沒有哥哥來打賭!
X“短视频”第1季 大家还有没有珍藏很久、舍不得删的优质短视频? 欢迎分享你的私藏好内容~
0
160
2
22
轉發到社區