TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
烟花老师
@teach_fireworks
fireworks-tech-graph 作者,AI Architect ,一支烟花社区发起人
가입 February 2024
2.7K
팔로잉 중
6.7K
팬
烟花老师
@teach_fireworks
2026.07.20 13:14
GPT 5.6 sol的输出速度大约是 Kimi K3 的12倍! 大家体感上K3 比 GPT 5.6 sol慢非常多,我体验下来也确实是这样的,而且慢的不是一点半点。 这是具体的原因: • GPT-5.6 Sol 最高 750 tokens/秒,跑在 Cerebras 晶圆级硬件(WSE-3)上,比常规 GPU 部署的前沿模型(约 40–150t/s)快将近一个数量级。GPT-5.6 Sol 被曝横跨约 100 张晶圆做模型并行,但晶圆间 fabric 带宽 214 Pb/s,比 GPU 集群的 NVLink/InfiniBand高几个量级,通信开销占比很小。 • Kimi K3 约 62 tokens/秒(第三方实测均值),在 Artificial Analysis 速度榜上处于后三分之一。K3 是 2.8T 参数的超大 MoE 模型,本身就不是为极速输出设计的。权重放不进少量 GPU,官方推荐 64 卡以上超节点部署,专家并行带来大量跨卡通信。 • 服务策略 公开 API 上的 62 t/s 是共享集群、大 batch 跑吞吐量下的单用户速度——GPU 服务商为了摊薄成本会牺牲单流速度换总吞吐。 而 Sol 的 750 t/s 是 OpenAI 专门开的一条"低延迟车道"(初期还限量开放),用小 batch 换速度。同一个模型换种排产策略,数字就能差好几倍。 核心差异: 两个模型的尺寸都差不多大,都是2T 多。 • K3 跑在 GPU 集群上:权重存在显存(HBM)里,离计算核心"隔着一个城市"。每生成一个 token,1.4TB 的货要通过带宽约 3–8 TB/s 的"高速公路"运一遍,而且模型太大装不进几张卡,分散在 64 张卡上,卡与卡之间每 token 还要开好几次"跨城协调会"(通信开销)。 • Sol 跑在 Cerebras 晶圆上:权重直接刻在计算核心旁边,44GB 片上 SRAM 就在微米之外,带宽 21 PB/s——路宽是 GPU 的两千多倍。货一样重,但路宽了两千倍,车速自然快一个数量级。
더 보기
0
0
14
39
5
커뮤니티로 전달
인기 있는 사용자
オリコンニュース
@oricon
2M 팬
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 팬
TVer新着
@TVer_info
101.7K 팬
New York Post
@nypost
4.3M 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
空空道人
@Kongkongda5882
39.1K 팬
zerohedge
@zerohedge
3.4M 팬
Reuters
@Reuters
26.4M 팬
モデルプレス
@modelpress
2.1M 팬
Bloomberg
@business
10.5M 팬
ITZY
@ITZYofficial
6.6M 팬
First Squawk
@FirstSquawk
577.9K 팬
中國新聞社
@CNS1952
549.7K 팬
GOT7
@GOT7Official
8.9M 팬
MANTANWEB/毎日キレイ
@mantanweb
68.7K 팬