TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
慧音-知识和历史的半兽
@Necokeine
Go, Dream, Deliver 我会中文 Can speak English 少しの日本语も話しできます 爱旅游,到处跑。 来上海的话,有空周四傍晚来SHLUG玩 Telegram:
@necokeine
做Ait自娱自乐中:
가입 December 2017
801
팔로잉 중
641
팬
慧音-知识和历史的半兽
@Necokeine
2026.10.25 04:24
大家不是做MaaS的可能不清楚,DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子,DeepInfer的任务摊派是完全不考虑显存容量的,为什么呢?因为DS 4.1F的KV极度优化,每个token只需要890个Byte,相当于即使一整条1M个token的上下文,也只需要890M,不到1G的显存。这在别家几乎是不可能的,即使是DS 4F,也需要这个尺寸的四倍。 就是因为有这么小的KV cache,DeepInfer可以完全不考虑显存,直接只限制batch size。 且不说Kimi K3.1那巨大的模型尺寸,巨大的激活参数带来的各种麻烦。K3时代,每个token在bf16时需要27kB,30倍左右的开销,即使FP8,也是15倍的开销。这种巨大的kv cache上的差异,再配合Kimi那主打长上下文的特性…… 推理工作非常难以展开的。
더 보기
云辰 Cyan
@CyanCloud77
2026.10.25 00:24
Kimi 抄 Deepseek 推理框架都不会吗 kimi 的问题就是 infra 太差了,也就是推理性能太差了 导致订阅用户额度光速掉完,还宣发一堆幺蛾子 明明是一个很强的模型😑😑😑
더 보기
0
0
4
46
4
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
Reuters
@Reuters
26.5M 팬
オリコンニュース
@oricon
2M 팬
First Squawk
@FirstSquawk
579.6K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
Bloomberg
@business
10.5M 팬
TVer新着
@TVer_info
101.8K 팬
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 팬
billboard
@billboard
16.8M 팬
zerohedge
@zerohedge
3.4M 팬
吴说区块链
@wublockchain12
183K 팬
ITZY
@ITZYofficial
6.6M 팬
i-dle (아이들)
@official_i_dle
2.3M 팬
モデルプレス
@modelpress
2.1M 팬
ATEEZ(에이티즈)
@ATEEZofficial
4.9M 팬