TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
烟花老师
@teach_fireworks
fireworks-tech-graph 作者,AI Architect ,一支烟花社区发起人
Joined February 2024
2.7K
Following
6.7K
Followers
烟花老师
@teach_fireworks
2026.07.20 13:14
GPT 5.6 sol的输出速度大约是 Kimi K3 的12倍! 大家体感上K3 比 GPT 5.6 sol慢非常多,我体验下来也确实是这样的,而且慢的不是一点半点。 这是具体的原因: • GPT-5.6 Sol 最高 750 tokens/秒,跑在 Cerebras 晶圆级硬件(WSE-3)上,比常规 GPU 部署的前沿模型(约 40–150t/s)快将近一个数量级。GPT-5.6 Sol 被曝横跨约 100 张晶圆做模型并行,但晶圆间 fabric 带宽 214 Pb/s,比 GPU 集群的 NVLink/InfiniBand高几个量级,通信开销占比很小。 • Kimi K3 约 62 tokens/秒(第三方实测均值),在 Artificial Analysis 速度榜上处于后三分之一。K3 是 2.8T 参数的超大 MoE 模型,本身就不是为极速输出设计的。权重放不进少量 GPU,官方推荐 64 卡以上超节点部署,专家并行带来大量跨卡通信。 • 服务策略 公开 API 上的 62 t/s 是共享集群、大 batch 跑吞吐量下的单用户速度——GPU 服务商为了摊薄成本会牺牲单流速度换总吞吐。 而 Sol 的 750 t/s 是 OpenAI 专门开的一条"低延迟车道"(初期还限量开放),用小 batch 换速度。同一个模型换种排产策略,数字就能差好几倍。 核心差异: 两个模型的尺寸都差不多大,都是2T 多。 • K3 跑在 GPU 集群上:权重存在显存(HBM)里,离计算核心"隔着一个城市"。每生成一个 token,1.4TB 的货要通过带宽约 3–8 TB/s 的"高速公路"运一遍,而且模型太大装不进几张卡,分散在 64 张卡上,卡与卡之间每 token 还要开好几次"跨城协调会"(通信开销)。 • Sol 跑在 Cerebras 晶圆上:权重直接刻在计算核心旁边,44GB 片上 SRAM 就在微米之外,带宽 21 PB/s——路宽是 GPU 的两千多倍。货一样重,但路宽了两千倍,车速自然快一个数量级。
Show more
0
0
14
39
5
Forward to community
Most Popular Users
Tibo
@thsottiaux
998K Followers
FinancialJuice
@financialjuice
957.1K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
346.7K Followers
TheStreet
@TheStreet
1.2M Followers
First Squawk
@FirstSquawk
577.9K Followers
The Wall Street Journal
@WSJ
22.3M Followers
Serenity
@aleabitoreddit
1.1M Followers
LiveSquawk
@LiveSquawk
504.5K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
amit
@amitisinvesting
672.9K Followers
The Kobeissi Letter
@KobeissiLetter
2.7M Followers
Elon Musk
@elonmusk
241.4M Followers
zerohedge
@zerohedge
3.4M Followers
OpenAI
@OpenAI
5.5M Followers