TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Michael Guo
@Michaelzsguo
Building AI agents and AI-native orgs. Demystifying AI in practice. EN/中文 (Selected build notes, experiments, and practical tips at the website link.)
Joined January 2022
434
Following
12.1K
Followers
Michael Guo
@Michaelzsguo
2026.11.03 11:49
DeepSeek V5计划用国产芯片进行预训练!这也意味着,DeepSeek和华为正在一起解决CUDA之外的软件路径:华为提供CANN底层平台,DeepSeek补齐自己模型所需的计算库、通信库和算子。对DeepSeek来说,先让自己的训练流程在国产芯片上高效跑通,就已经能减少对CUDA的依赖。
Show more
Michael Guo
@Michaelzsguo
2026.11.03 11:43
DeepSeek V5计划用国产芯片进行预训练! 据报道,DeepSeek下一代大模型V5计划采用华为昇腾950作为核心训练算力,目标在2027年落地。此前双方在推理端的合作,将进一步延伸到从头训练模型。 国产芯片不是早就能跑DeepSeek了吗?为什么训练要晚这么久? 从工程上看,推理是使用已经训练好的模型,主要做前向计算,权重通常不变,可以通过量化、优化算子、拆分部署逐步适配。华为早在2025年就用昇腾910B、910C承接DeepSeek的推理需求,但也经历了数月的联合优化。 预训练还要反向传播、计算梯度、更新参数,保存更多中间数据,并让大量芯片反复交换数据、协同工作。显存、通信、数值稳定性、故障恢复,任何一个环节跟不上,都可能让整个集群的效率掉下来。能把模型跑起来,距离高效、稳定地把模型训练出来,还有很长一段工程距离。 其实这段距离已经在逐步缩短。今年已有研究团队在昇腾集群上完成DeepSeek-V4系列的全参数后训练和领域继续预训练。这些工作建立在已有模型之上;这次V5的计划,则把目标推进到了基础预训练。 芯片方面,昇腾950分为950PR和950DT:PR偏重推理中处理输入的Prefill阶段,DT面向训练和逐字生成的Decode阶段。按华为公布的规格,950DT配备144GB内存,访存带宽4TB/s,芯片互联带宽2TB/s,FP8峰值算力约1 PFLOPS,也就是每秒约1000万亿次浮点运算。大容量内存、高带宽互联,以及对FP8等低精度格式的原生支持,都是支撑大模型训练的重要条件。 软件也在补齐。DeepSeek近期公开了面向昇腾的DeepGEMM计算库和DeepEP通信库,前者优化矩阵计算,后者处理MoE模型中不同专家之间的数据交换。两者都尽量对齐原有接口,减少迁移时需要重写的代码。要让国产芯片承担预训练,这些底层工程和芯片本身一样关键。
Show more
0
0
0
3
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959.1K Followers
First Squawk
@FirstSquawk
579.7K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
Serenity
@aleabitoreddit
1.1M Followers
LiveSquawk
@LiveSquawk
504.2K Followers
Binance
@binance
16.1M Followers
ClaudeDevs
@ClaudeDevs
832.4K Followers
CNBC
@CNBC
6.3M Followers
New York Post
@nypost
4.3M Followers
Seeking Alpha
@SeekingAlpha
348.2K Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
Boris Cherny
@bcherny
641.8K Followers
Thariq
@trq212
404.8K Followers