Register and share your invite link to earn from video plays and referrals.

慧音-知识和历史的半兽
@Necokeine
Go, Dream, Deliver 我会中文 Can speak English 少しの日本语も話しできます 爱旅游,到处跑。 来上海的话,有空周四傍晚来SHLUG玩 Telegram: @necokeine 做Ait自娱自乐中:
Joined December 2017
801 Following    641 Followers
大家不是做MaaS的可能不清楚,DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子,DeepInfer的任务摊派是完全不考虑显存容量的,为什么呢?因为DS 4.1F的KV极度优化,每个token只需要890个Byte,相当于即使一整条1M个token的上下文,也只需要890M,不到1G的显存。这在别家几乎是不可能的,即使是DS 4F,也需要这个尺寸的四倍。 就是因为有这么小的KV cache,DeepInfer可以完全不考虑显存,直接只限制batch size。 且不说Kimi K3.1那巨大的模型尺寸,巨大的激活参数带来的各种麻烦。K3时代,每个token在bf16时需要27kB,30倍左右的开销,即使FP8,也是15倍的开销。这种巨大的kv cache上的差异,再配合Kimi那主打长上下文的特性…… 推理工作非常难以展开的。
Show more
Kimi 抄 Deepseek 推理框架都不会吗 kimi 的问题就是 infra 太差了,也就是推理性能太差了 导致订阅用户额度光速掉完,还宣发一堆幺蛾子 明明是一个很强的模型😑😑😑
Show more