TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
雪瑜
@xueyu1125
🤖 模型评测 · 本地模型 · AI 工具实践 👨💻 程序员· 游戏服务器开发 📈 关注美股· 探索AIGC 📮合作/交流: liu.bin.coder
@gmail
.com
가입 September 2014
3.9K
팔로잉 중
9.1K
팬
雪瑜
@xueyu1125
2026.08.29 02:30
🎉GLM-5.3-Flash 实测也来了,依然是上次的 4 张 141 GB H20配置,分别跑通 SGLang 和 vLLM,使用官方 FP8 权重、BF16 KV Cache、近 1M 上下文的实测 1. 短请求测试:SGLang 1 并发 74.7 token/s,32 并发 847.1 token/s;vLLM 分别为 107.7、1156.9 token/s 2. 运行环境:SGLang 功能验证更加完整,已接入 OpenWebUI;vLLM 使用专用预览镜像,测试时主仓支持尚未合入。本轮均关闭 MTP 3. 官方 FP8 权重 62 个分片,合计约 328 GB,每卡权重显存约 75 GiB;SGLang 权重加载耗时 130.59 秒,vLLM 最慢 Rank 耗时 365.69 秒 4. 两套引擎均通过近 1M 上下文请求和大海捞针测试,104 万 Token 输入的冷缓存首 Token 延迟分别为 167.69 秒、160.96 秒;本次没有复现 SGLang 社区 262K 边界崩溃的问题
더 보기
0
0
8
15
2
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
Bloomberg
@business
10.5M 팬
TVer新着
@TVer_info
101.8K 팬
Reuters
@Reuters
26.5M 팬
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
billboard
@billboard
16.8M 팬
First Squawk
@FirstSquawk
579.6K 팬
吴说区块链
@wublockchain12
183K 팬
i-dle (아이들)
@official_i_dle
2.3M 팬
zerohedge
@zerohedge
3.4M 팬
ITZY
@ITZYofficial
6.6M 팬
tripleS official
@triplescosmos
234.2K 팬
ATEEZ(에이티즈)
@ATEEZofficial
4.9M 팬