TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
慧音-知识和历史的半兽
@Necokeine
Go, Dream, Deliver 我会中文 Can speak English 少しの日本语も話しできます 爱旅游,到处跑。 来上海的话,有空周四傍晚来SHLUG玩 Telegram:
@necokeine
做Ait自娱自乐中:
Joined December 2017
801
Following
641
Followers
慧音-知识和历史的半兽
@Necokeine
2026.10.25 04:24
大家不是做MaaS的可能不清楚,DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子,DeepInfer的任务摊派是完全不考虑显存容量的,为什么呢?因为DS 4.1F的KV极度优化,每个token只需要890个Byte,相当于即使一整条1M个token的上下文,也只需要890M,不到1G的显存。这在别家几乎是不可能的,即使是DS 4F,也需要这个尺寸的四倍。 就是因为有这么小的KV cache,DeepInfer可以完全不考虑显存,直接只限制batch size。 且不说Kimi K3.1那巨大的模型尺寸,巨大的激活参数带来的各种麻烦。K3时代,每个token在bf16时需要27kB,30倍左右的开销,即使FP8,也是15倍的开销。这种巨大的kv cache上的差异,再配合Kimi那主打长上下文的特性…… 推理工作非常难以展开的。
Show more
云辰 Cyan
@CyanCloud77
2026.10.25 00:24
Kimi 抄 Deepseek 推理框架都不会吗 kimi 的问题就是 infra 太差了,也就是推理性能太差了 导致订阅用户额度光速掉完,还宣发一堆幺蛾子 明明是一个很强的模型😑😑😑
Show more
0
0
4
46
4
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
958.7K Followers
First Squawk
@FirstSquawk
579.6K Followers
Serenity
@aleabitoreddit
1.1M Followers
Binance Wallet
@BinanceWallet
2.8M Followers
LiveSquawk
@LiveSquawk
504K Followers
CNBC
@CNBC
6.3M Followers
New York Post
@nypost
4.3M Followers
Seeking Alpha
@SeekingAlpha
347.9K Followers
Binance
@binance
16.1M Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
ClaudeDevs
@ClaudeDevs
827.1K Followers
Reuters
@Reuters
26.5M Followers
*Walter Bloomberg
@DeItaone
2M Followers