注册并分享邀请链接,可获得视频播放与邀请奖励。

华尔街观察 Xtrader
@cnfinancewatch
PhD, Professor, Quantitative XTrader | 美股、A股对标观察公开专栏: 每日美股、A股盘前热点信息;投行焦点研报;公司异动情报汇总 | 订阅者专区:大类资产(ETF)轮动量化模型数据、行业板块(ETF)动量因子数据 | 量化方法与数据研讨,不构成任何投资建议
加入 April 2010
5.2K 正在关注    112.8K 粉丝
是的,瓶颈在CPU和存储,二者跟不上GPU,GPU吃不饱,我们都华尔街观察大模型训练的时候常常这样,需要反复软件优化: 英伟达与亚马逊正积极推进新一代存储架构研发,该架构将允许GPU直接操控SSD等存储设备,绕过传统CPU调度环节。英伟达计划率先在其下一代Vera Rubin AI平台上导入“GPU发起直接存储访问”(GIDS)技术。 推动这一架构变革的核心原因,是现有冯·诺依曼架构存在先天性数据搬运短板:所有数据必须经由CPU中转、DRAM缓存,才能传输至GPU。 这直接导致了CPU线程处理能力与GPU数万级并行算力之间的严重错配,该矛盾已成为制约AI推理与训练提速的核心瓶颈。
显示更多