TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
链研社|AI First🔶💧
@lianyanshe
AI 前沿探索者| 美股投研 |AI & Crypto币股双修| 🔶BNB Holder|💧SUI Builder,币安广场同名。穿越牛熊的数据派交易员,AI交易,交易AI,奉行周期大于一切,关注真正影响投资决策的信息,捕捉改变时代的大机会。投资频道-
Joined October 2021
1.1K
Following
82.2K
Followers
链研社|AI First🔶💧
@lianyanshe
2026.06.27 16:10
DeepSeek 最新论文DSpark:让大模型说得更快 解决核心问题: 大模型生成文字像一个人写作文,必须一个字一个字地写,速度很慢。推测解码的思路是:先让一个小助理快速写一段草稿,再让主角(大模型)一次性检查整段,对的保留、错的纠正。 但现有方案有两个毛病: 1、小助理写的后半段经常跑偏。比如它想写of course,但of和course是各猜各的,结果可能拼出of problem,越往后越离谱。 2、检查浪费严重。明知道后半段大概率不对,还一个个去验证,白白浪费算力。 DSpark 的两个妙招 妙招一:边写边看前面写了什么 小助理写草稿时,前面的部分用并行快速生成(像打字机一次出一片),但从第二个字开始,用一个极轻量的模块看看前一个字是什么再写下一个。比如看到前面写了of,就自动偏向course而抑制problem。 这个看一眼的代价极低,只多了约 1% 的时间,但草稿质量大幅提升。 妙招二:不靠谱的就不查了 给草稿每个位置打个信心分。比如写代码,前几个字信心很高(0.95),可以放心验证;写闲聊时后几个字信心很低(0.3),就直接砍掉不查。 论文里有个直观数据:闲聊场景下,原来只有 45.7% 的草稿被接受,用了信心调度后跳到 95.7%,少做了一半多的无用功。 效果如何? 在 DeepSeek-V4 真实生产环境中: - 用户感知的生成速度提升了 60%-85% - 高并发时不再卡死,此前达不到的服务等级现在可以做到了 - 额外延迟开销仅 1%-2% 打个比方:原来一个 GPU 能同时服务 100 个用户且体验流畅,现在同样的硬件可以服务 160-185 个用户。 为什么重要? 这篇论文不只是一个算法技巧,是把草稿质量和系统调度打通了。就像餐厅不光要菜做得好(草稿质量高),还要会排号(智能调度验证顺序),两者结合才能让翻台率最大化。 DeepSeek 还开源了代码和模型,其他团队可以直接拿来用或改进,这对整个大模型推理加速领域是实打实的推动。
Show more
0
0
6
11
0
Forward to community
Most Popular Users
New York Post
@nypost
4.1M Followers
Serenity
@aleabitoreddit
1M Followers
billboard
@billboard
16.5M Followers
オリコンニュース
@oricon
1.9M Followers
Reuters
@Reuters
26.3M Followers
First Squawk
@FirstSquawk
556.5K Followers
BTS_official
@bts_bighit
45.3M Followers
Hello! Project Link
@UpFrontLink
15.5K Followers
Elon Musk
@elonmusk
241.4M Followers
一劍浣春秋
@chee828
0 Followers
Pirat_Nation 🔴
@Pirat_Nation
342K Followers
BLACKPINKOFFICIAL
@BLACKPINK
11.6M Followers
i-dle (아이들)
@official_i_dle
2.4M Followers
吴说区块链
@wublockchain12
179.2K Followers
INI
@official__INI
510.1K Followers