TwiScan
热门
社区
账号集合
登录
注册
English
日本語
한국의
简体中文
繁体中文
注册并分享邀请链接,可获得视频播放与邀请奖励。
立即注册
indigo
@indigox
Co-founder of / Partner of Brilliant Phoenix / ex-Weibo. Investor, Writer, Coder, Gamer & Amateur Cook. e/acc, 𝕏 is my notebook …
加入 March 2007
1.2K
正在关注
55.7K
粉丝
indigo
@indigox
2026.11.05 04:17
今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记!结论和我自己的感知还比较一致,反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍(高的到 20 倍),替代办法都不如直接蒸,前沿实验室的模型普遍 5-10T,学生太小听不懂老师,700B 蒸 3-5T 效果很差,还得靠扎实的预训练;但训 3-5T 模型至少需要几万张B卡,最后竞争还是算力😆 现在靠蒸馏,差距大约是 3–4 个月;反蒸馏生效后,会拉到约 12 个月;如果美国头部几家明年都是 RSI,差距还会再拉到 18–24 个月。到时数据配比、算力分配、开几条线都是「炼丹」,50 个研究员只能开 50 条线,RSI 之后训练线数只由算力决定 ...
显示更多
0
0
36
245
46
转发到社区
热门用户
New York Post
@nypost
4.3M 粉丝
狱
@Wx1n11124
317.9K 粉丝
华尔街观察 Xtrader
@cnfinancewatch
140.3K 粉丝
Reuters
@Reuters
26.5M 粉丝
空空道人
@Kongkongda5882
40.9K 粉丝
オリコンニュース
@oricon
2M 粉丝
First Squawk
@FirstSquawk
579.4K 粉丝
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉丝
吴说区块链
@wublockchain12
183K 粉丝
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 粉丝
TVer新着
@TVer_info
101.8K 粉丝
allincrypto 熬鹰资本 🇨🇳
@thankUcrypto
208.1K 粉丝
zerohedge
@zerohedge
3.4M 粉丝
中國新聞社
@CNS1952
549.9K 粉丝
一劍浣春秋
@chee828
233.3K 粉丝