TwiScan
熱門
社區
帳號集合
登入
註冊
English
日本語
한국의
简体中文
繁体中文
註冊並分享邀請連結,可獲得影片播放與邀請獎勵。
立即註冊
Michael Guo
@Michaelzsguo
Building AI agents and AI-native orgs. Demystifying AI in practice. EN/中文 (Selected build notes, experiments, and practical tips at the website link.)
加入 January 2022
434
正在關注
12.1K
粉絲
Michael Guo
@Michaelzsguo
2026.11.03 11:49
DeepSeek V5计划用国产芯片进行预训练!这也意味着,DeepSeek和华为正在一起解决CUDA之外的软件路径:华为提供CANN底层平台,DeepSeek补齐自己模型所需的计算库、通信库和算子。对DeepSeek来说,先让自己的训练流程在国产芯片上高效跑通,就已经能减少对CUDA的依赖。
顯示更多
Michael Guo
@Michaelzsguo
2026.11.03 11:43
DeepSeek V5计划用国产芯片进行预训练! 据报道,DeepSeek下一代大模型V5计划采用华为昇腾950作为核心训练算力,目标在2027年落地。此前双方在推理端的合作,将进一步延伸到从头训练模型。 国产芯片不是早就能跑DeepSeek了吗?为什么训练要晚这么久? 从工程上看,推理是使用已经训练好的模型,主要做前向计算,权重通常不变,可以通过量化、优化算子、拆分部署逐步适配。华为早在2025年就用昇腾910B、910C承接DeepSeek的推理需求,但也经历了数月的联合优化。 预训练还要反向传播、计算梯度、更新参数,保存更多中间数据,并让大量芯片反复交换数据、协同工作。显存、通信、数值稳定性、故障恢复,任何一个环节跟不上,都可能让整个集群的效率掉下来。能把模型跑起来,距离高效、稳定地把模型训练出来,还有很长一段工程距离。 其实这段距离已经在逐步缩短。今年已有研究团队在昇腾集群上完成DeepSeek-V4系列的全参数后训练和领域继续预训练。这些工作建立在已有模型之上;这次V5的计划,则把目标推进到了基础预训练。 芯片方面,昇腾950分为950PR和950DT:PR偏重推理中处理输入的Prefill阶段,DT面向训练和逐字生成的Decode阶段。按华为公布的规格,950DT配备144GB内存,访存带宽4TB/s,芯片互联带宽2TB/s,FP8峰值算力约1 PFLOPS,也就是每秒约1000万亿次浮点运算。大容量内存、高带宽互联,以及对FP8等低精度格式的原生支持,都是支撑大模型训练的重要条件。 软件也在补齐。DeepSeek近期公开了面向昇腾的DeepGEMM计算库和DeepEP通信库,前者优化矩阵计算,后者处理MoE模型中不同专家之间的数据交换。两者都尽量对齐原有接口,减少迁移时需要重写的代码。要让国产芯片承担预训练,这些底层工程和芯片本身一样关键。
顯示更多
0
0
0
3
0
轉發到社區
熱門用戶
New York Post
@nypost
4.3M 粉絲
オリコンニュース
@oricon
2M 粉絲
Reuters
@Reuters
26.5M 粉絲
吴说区块链
@wublockchain12
183K 粉絲
Bloomberg
@business
10.5M 粉絲
TVer新着
@TVer_info
101.8K 粉絲
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉絲
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K 粉絲
空空道人
@Kongkongda5882
41K 粉絲
First Squawk
@FirstSquawk
579.7K 粉絲
billboard
@billboard
16.9M 粉絲
中國新聞社
@CNS1952
550.2K 粉絲
华尔街观察 Xtrader
@cnfinancewatch
140.7K 粉絲
WangNextDoor
@WangNextDoor2
110.9K 粉絲
zerohedge
@zerohedge
3.4M 粉絲