TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
karminski-牙医
@karminski3
A coder, road bike rider, server fortune teller, electronic waste collector, co-founder of KCORES, ex-director at IllaSoft, KingsoftOffice, Juejin.
Joined December 2018
1.6K
Following
39.4K
Followers
karminski-牙医
@karminski3
2026.06.30 06:32
SGLang 的 DSpark 实测数据在PR里放出了, 几个测试场景基本都能达到预测3个token, 其中数学类prompt是3.37个, 日常对话是3个, 代码是3.52个(果然代码是废token比较多的). 最亮眼的是加速比了, 在1K长度prompt下加速比来到了1.81倍. 测试使用的是8卡B200, 速度来到了 297 token/s. 而不使用DSpark 则是 164 token/s. 另外作者还测试了不同并发情况下的加速比, 目前来看单并发提升是最高的, 而超过8并发则只有1.2-1.3倍的提速了, 主要还是把GPU打满了. 另外比较震惊的数据时 DSpark 的 TPOT (每个输出 Token 的耗时) 只有2.9-5.2ms, 说明了这个DSpark内置的神经网络层运行得特别快. DSpark带来的延迟基本可以忽略不计了. 注意这个PR还没合并, 如果想尝试可以单独Fork这个PR29538.
Show more
0
0
8
72
3
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959K Followers
First Squawk
@FirstSquawk
579.6K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
Serenity
@aleabitoreddit
1.1M Followers
LiveSquawk
@LiveSquawk
504.1K Followers
Binance
@binance
16.1M Followers
CNBC
@CNBC
6.3M Followers
ClaudeDevs
@ClaudeDevs
830.4K Followers
Seeking Alpha
@SeekingAlpha
348.2K Followers
New York Post
@nypost
4.3M Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
Boris Cherny
@bcherny
640.9K Followers
Thariq
@trq212
404.2K Followers