TwiScan
熱門
社區
帳號集合
登入
註冊
English
日本語
한국의
简体中文
繁体中文
註冊並分享邀請連結,可獲得影片播放與邀請獎勵。
立即註冊
慧音-知识和历史的半兽
@Necokeine
Go, Dream, Deliver 我会中文 Can speak English 少しの日本语も話しできます 爱旅游,到处跑。 来上海的话,有空周四傍晚来SHLUG玩 Telegram:
@necokeine
做Ait自娱自乐中:
加入 December 2017
801
正在關注
641
粉絲
慧音-知识和历史的半兽
@Necokeine
2026.10.25 04:24
大家不是做MaaS的可能不清楚,DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子,DeepInfer的任务摊派是完全不考虑显存容量的,为什么呢?因为DS 4.1F的KV极度优化,每个token只需要890个Byte,相当于即使一整条1M个token的上下文,也只需要890M,不到1G的显存。这在别家几乎是不可能的,即使是DS 4F,也需要这个尺寸的四倍。 就是因为有这么小的KV cache,DeepInfer可以完全不考虑显存,直接只限制batch size。 且不说Kimi K3.1那巨大的模型尺寸,巨大的激活参数带来的各种麻烦。K3时代,每个token在bf16时需要27kB,30倍左右的开销,即使FP8,也是15倍的开销。这种巨大的kv cache上的差异,再配合Kimi那主打长上下文的特性…… 推理工作非常难以展开的。
顯示更多
云辰 Cyan
@CyanCloud77
2026.10.25 00:24
Kimi 抄 Deepseek 推理框架都不会吗 kimi 的问题就是 infra 太差了,也就是推理性能太差了 导致订阅用户额度光速掉完,还宣发一堆幺蛾子 明明是一个很强的模型😑😑😑
顯示更多
0
0
4
46
4
轉發到社區
熱門用戶
New York Post
@nypost
4.3M 粉絲
オリコンニュース
@oricon
2M 粉絲
Reuters
@Reuters
26.5M 粉絲
First Squawk
@FirstSquawk
579.6K 粉絲
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉絲
吴说区块链
@wublockchain12
183K 粉絲
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 粉絲
TVer新着
@TVer_info
101.8K 粉絲
空空道人
@Kongkongda5882
40.9K 粉絲
billboard
@billboard
16.8M 粉絲
华尔街观察 Xtrader
@cnfinancewatch
140.3K 粉絲
Bloomberg
@business
10.5M 粉絲
zerohedge
@zerohedge
3.4M 粉絲
中國新聞社
@CNS1952
550K 粉絲
WangNextDoor
@WangNextDoor2
110.9K 粉絲