注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 Tenstorrent
Tenstorrent 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 Tenstorrent 的推特
今天新闻流里最有价值的一条就是 ,SK海力士和闪迪在FMS 2026上发布了全球首个HBF开放技术标准。Google和Tenstorrent也参与技术验证和标准建立。 规格具体如下:存储介质3D NAND Flash,堆叠支持8层和16层两种配置,单颗容量最高512GB,带宽分三个等级覆盖0.4TB/s到3.0TB/s。接xPU的接口选了UCIe,GPU、CPU、各类AI加速器都能接入。联盟成员包括Google和Tenstorrent,Google DeepMind的工程师会在FMS上参加一场关于HBF突破memory wall的panel。 HBF的定位比较清楚,在HBM和SSD之间插入一个新的存储层级。HBM带宽高但容量有限、成本极高。SSD容量大但延迟太高。HBF用NAND的成本结构去逼近HBM的带宽能力,同时容量远超HBM。 为什么这个新闻很重要?因为MoE已经成了frontier model的主流架构,而MoE的参数结构天然适配HBF。 拿Kimi K3举例,2.8T参数,896个专家每次激活16个,单token实际参与计算的参数大概50-104B。剩下占总量95%以上的专家权重,读多写少,稀疏访问,每次推理只用到一小部分。对延迟的容忍度远高于KV cache,但对容量的要求很大。 你今天想跑一个K3,2.8T参数分布在几十张卡上,专家路由的跨卡通信量极大,基本上要上英伟达NVL72这种scale-up系统才能跑。一套NVL72的采购成本是千万美元级别,小团队和一般公司根本不用考虑。 HBF改变的可能还不只是成本,是MoE的部署方式本身。现在跑大MoE模型,专家权重分散在多张卡上,推理时跨卡通信量很大,对NVLink和网络带宽的依赖非常重。HBF通过UCIe直接挂在xPU旁边,每颗最高512GB,相当一部分专家可以变成本地访问,不用走卡间互联。专家并行从大规模跨卡通信问题,部分转化成了本地HBF读取问题。这对部署门槛的影响可能比单纯降成本还大。 存储成本从纯DRAM/HBM变成DRAM+NAND混合,量级差距10倍以上。DRAM只留给KV cache和当前激活的参数,50-100GB可能就够。 MoE的参数量还在膨胀,K2是1T,K3已经2.8T,10T级别的MoE大概率两三年内就会出现。如果推理侧存储还是只能靠DRAM和HBM,成本门槛只会越来越高。HBF提供了让推理成本和参数膨胀脱钩的可能性。 时间线上,SK海力士给的full commercialization目标是2030年前后,但闪迪今年下半年可能已经在日本建pilot line,商用有机会提前到2027年。
显示更多
0
14
80
5
转发到社区
SK海力士联手闪迪发布全球首个HBF标准规范,谷歌加入生态 最高容量512GB、带宽最高3TB/s,并引入Google和Tenstorrent参与生态建设。 HBF目前主要是针对HBM装不下、SSD又不够快的AI推理数据,未来可能成为GPU旁边的新一层大容量高速存储。
显示更多
之前做LLM推理芯片架构探索的时候,我把四大AI推理ASIC公司的架构都翻过一遍。Groq、SambaNova、Tenstorrent、Cerebras。前三家的思路虽然各有侧重,但底层逻辑都在同一个框架里:片上大SRAM + dataflow架构 + 确定性调度,核心差异在NoC拓扑、内存层级、编译器抽象这些维度上展开。 Cerebras是里面让我真正被震惊到的一家,而它却这四家里马上第一个拿到IPO结果的。 这家公司的选择比其他三家都激进一个量级:不做芯片,直接做整片wafer。 单颗WSE-3,21.5cm × 21.5cm的整片晶圆,90万个PE通过scribe-line stitching在物理上连成一片连续的silicon。这个工艺是Cerebras和TSMC联合定制的,把原本用于晶圆切割的窄条改造成跨reticle的金属导线,让所有reticle在物理上拼接成一整块芯片。(配图二展示了单颗WSE-3内部结构:左半边是整片晶圆的reticle网格和scribe-line拼接,右半边放大了单个PE的微架构。) 单个PE的结构极简:8-wide FP16 SIMD计算核,48KB本地SRAM直连,没有cache层级,所有数据访问都是确定性的单周期。加上一个5端口路由器(N/S/E/W + loopback),相邻PE之间的通信延迟也是单周期。关键在于,跨reticle边界的mesh在物理参数上和reticle内部完全一致,编译器和runtime完全不需要感知reticle边界的存在。 从LLM推理的视角看,这个均匀性的价值非常大。 LLM推理的瓶颈在decode阶段。每生成一个token,模型权重要被完整读取一次,计算量却很小,典型的memory-bound场景。GPU集群在这个环节的核心问题是数据搬运:HBM带宽有限,多卡之间还要经过NVLink → NVSwitch → InfiniBand → Ethernet四层互联,每一层带宽和延迟都差几个量级,编程模型必须显式处理每一层的拓扑边界。 Cerebras的做法完全绕开了这个问题。单片wafer内部fabric带宽27 PB/s,权重从外部的MemoryX存储集群通过SwarmX流入wafer后,在PE之间按数据流模式传播执行,同一套placement和routing算法跑遍整片wafer。(配图一展示了这个系统级架构:MemoryX参数存储集群到SwarmX互联fabric,再到底层最多2048台CS-3节点,权重广播和梯度规约的数据流方向一目了然。) 90万个PE各自带48KB SRAM,合计约42GB片上存储,每个PE对自己本地SRAM的访问是单周期确定性的,PE间通信每跳single-cycle,延迟和曼哈顿距离成正比。对于推理场景,前提是weight streaming的编译器能把权重有效地分配到对应的PE上,这42GB分布式片上SRAM的聚合带宽远超GPU的HBM方案,没有cache层级带来的访问不确定性,没有跨芯片搬运的开销。 回到我自己的体感。做推理芯片架构的时候,NoC拓扑和内存层级的权衡花了大量精力,因为芯片边界是硬约束,跨芯片通信的成本和片内通信之间永远存在断层。Cerebras的做法等于从片内通信的角度消除了这个断层,代价是整条制造和封装链都要重新定义。 这也解释了Cerebras的工程取舍。所有架构创新集中在wafer内部,scale-out方向直接复用100GbE + RoCE的以太网生态。wafer内27 PB/s对比跨CS-3的SwarmX在Tbps量级,几个数量级的差距全部交给商品化网络承担。推理场景下单wafer内部的带宽和延迟优势可以直接转化成token生成速度。 OpenAI选择和Cerebras合作做推理,从架构层面看逻辑是通的。大规模在线推理需要低延迟、高吞吐、确定性时延,这三点恰好是wafer-scale架构在片上通信均匀性方面的结构性优势。 但这套架构也有几个结构性的问题值得正视。 良率和成本是绕不开的。整片wafer做单颗芯片,任何一个reticle的缺陷都影响整体。Cerebras靠冗余PE和路由绕行来应对,但冗余比例和良率数据从未公开过。一片wafer的制造成本本身就远高于切割后卖单颗die的模式,叠加23kW、15U的单系统功耗和体积,部署密度和TCO在大规模推理集群的经济性上面临考验。 最关键的是KV cache的容量瓶颈。42GB片上SRAM看起来很大,但长上下文推理场景下KV cache随序列长度线性增长。以Llama 70B为参考,FP16下128K上下文的KV cache就要吃掉约40GB,即使做KV cache量化,长序列场景下的容量压力仍然显著。片上放不下的部分必须依赖MemoryX做外部存储,数据要经过SwarmX回传,这条路径的带宽在Tbps量级,和wafer内部27 PB/s的差距意味着长序列场景下decode速度会被外部带宽卡住。这可能是Cerebras在推理场景面临的最核心的架构约束。
显示更多
0
45
270
47
转发到社区
高通到底是什么公司?——6月24日投资者大会前说说我的看法 我答应过推友要写高通的分析。下周二6月24日高通有投资者大会,趁这个时间点写一篇。 市场目前依然把高通定义为一家手机芯片公司。但如果未来几年AI真正从云端走向现实世界,高通可能是整个AI产业链里被低估最严重的公司之一。我看好高通的逻辑是因为我认为它正在从一家移动芯片公司,转型为横跨端侧AI、Physical AI、数据中心AI和智能终端的计算平台公司。它已经同时占了好几个赛道,今天把这件事拆开讲清楚。 先说基本面和护城河 今天的高通已经有多个增长引擎:Snapdragon手机平台、AI PC、汽车芯片、工业和IoT、XR设备、数据中心AI、Physical AI。 四层护城河 第一层,是全球5G专利授权体系。 不管谁卖5G手机,都需要向高通支付标准必要专利(SEP)授权费。即便未来苹果完全不使用高通基带,只要继续生产5G iPhone,理论上依然需要支付相关专利费用。这项业务每年贡献接近60亿美元收入,利润率远高于芯片业务,是高通最稳定、也是最容易被忽视的现金流来源。 第二层,是全球领先的基带和无线连接技术。 基带芯片不是简单的数字逻辑,而是全球频段兼容、射频优化、功耗管理和十几年工程经验的积累。苹果投入巨大、研发多年,直到今天仍处于逐步替代过程中,本身就说明无线连接技术的门槛。 第三层,也是我认为最重要的一层:高通已经拥有全球最大的端侧计算入口之一。 手机、PC、汽车、XR、IoT……这些设备今天未必都是AI终端,但未来很可能都会变成AI终端。而高通已经提前进入了这些市场。 第四层,是超低功耗AI计算能力。 如果未来AI最终进入现实世界,那么机器人、眼镜、汽车、手机,都不可能背着几千瓦的数据中心。它们需要本地推理,延迟,超低功耗,永远在线。 这是高通过去二十年最擅长的事情。 英伟达定义了AI训练时代。而高通,正在争夺AI进入现实世界时代的话语权。 汽车业务已经不是讲故事了。过去几年,高通汽车业务收入已经从数亿美元增长到单季度超过10亿美元,并积累了约450亿美元的Design Win。Design Win不是收入,但它意味着未来几年,全球主流车企正在用真金白银提前下注。至少说明,软件定义汽车和AI汽车的趋势,已经开始兑现。 从估值角度看,高通其实是一家很有意思的公司。它目前年营收约450亿美元,已经接近英特尔的规模,明显高于AMD。盈利质量也并不差。Non-GAAP口径下,高通毛利率约55.5%,净利润率约27%;AMD毛利率约55%,净利润率约22%;英特尔毛利率约41%,净利润率约11%。无论是盈利能力还是现金流,高通都算得上大型芯片公司中的优等生。但市场给它的估值,却依然像一家成熟手机公司。 当然,市场这样定价,也并非毫无道理。AMD拥有数据中心GPU和AI推理业务,英特尔拥有代工、PC复苏以及AI PC的预期,而高通的端侧AI、汽车、XR、机器人以及数据中心ASIC,大部分仍然处于兑现早期。市场担心的是AI推理需求会不会继续集中在数据中心?汽车和端侧AI的爆发会不会比想象中更慢?高通能不能真正摆脱手机公司的标签?这些疑问都是真实存在的。 但我认为,市场可能低估了一件事:AI最终不会永远停留在云端。真正大规模的AI,最终一定会进入现实世界。进入手机、PC、眼镜、汽车、机器人、工业设备。 而这些设备,需要的是低功耗、低延迟、本地推理、永远在线的AI计算平台。 如果这个趋势成立,那么今天市场给予高通的,可能仍然是手机公司的估值。而未来,它获得的可能是Physical AI时代平台公司的估值。 华尔街分析师平均目标价在191美元,我觉得严重低估了它的潜力。摩根大通最近把目标价从165上调到265美元,华尔街给出的最高目标价是300美元。 AI最终一定会从云端走向终端 AI训练发生在数据中心,但AI应用最终必须进入现实世界——手机、PC、智能眼镜、汽车、工业设备、机器人、无人机。这些设备有三个共同需求:低延迟、低功耗、本地推理,而这恰恰是高通最擅长的领域。 英伟达定义了AI训练时代,高通有机会成为AI进入现实世界时代的重要平台。如果未来每个人身边都有AI Agent,每辆车都有AI,每个机器人都有AI,终端侧计算的重要性只会越来越高。 数据中心AI和ASIC,是高通最大的估值重估机会 5月26日,高通宣布与字节跳动达成了一项数百万颗级别的AI数据中心定制芯片大单,这意味着高通不再只能享有传统手机公司的估值,而是可以对标博通和Marvell,Forward PE差不多在35到40倍。 4月底电话会议上,管理层已经确认正在和一家头部超大规模云厂商合作,华尔街推测可能是微软、亚马逊、Meta或谷歌中的一家,6月24日的投资者大会很可能正式宣布。这次合作属于多代际合作,首批产品预计今年年底开始出货,同时还在推进多个大型云客户的合作机会。 高通已经推出AI200和AI250 AI推理加速器,正式进入AI基础设施市场。 Tenstorrent这笔潜在收购,可能补上最后一块拼图 市场传出高通正在讨论收购Tenstorrent,交易规模可能达到80到100亿美元,如果成了会是近三年来最大的芯片收购案。 这件事重要的原因在于Tenstorrent不只是有AI加速器技术、RISC-V能力和数据中心IP,更重要的是拥有Jim Keller,他曾参与AMD Zen、苹果芯片和特斯拉芯片设计这几个传奇项目。如果交易达成,高通会同时获得数据中心CPU能力、AI Accelerator能力、RISC-V布局和顶级芯片人才。 6月24日投资者大会,五个看点 核心主题是围绕Agentic AI时代更新增长和多元化战略。 第一,数据中心芯片是最大看点,管理层预计会披露数据中心和Physical AI路线图,包括2026年底开始向某家超大规模云厂商交付定制芯片。 第二,芯片产品架构。管理层已预告数据中心战略分三块:CPU、XPU推理加速器,以及为单一客户定制的ASIC,且不需要昂贵的HBM,被定位为成本和供应优势。 第三,营收量级和时间表。管理层称数据中心营收必须达到数十亿美元级别,已经把部分收入提前到FY2027,ASIC最早2026自然年内开始出货。 第四,6G,是手机基带主业的下一代延伸叙事。 第五,潜在并购,Tenstorrent这笔交易市场会关注管理层有没有更明确表态。 总结 市场把高通当成手机公司估值,但它真正在做的是把自己变成Physical AI时代连接人与机器、云与边缘的底层平台。下周三的投资者大会,会是验证这个故事的第一个重要节点。
显示更多
0
32
110
21
转发到社区