TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
慧音-知识和历史的半兽
@Necokeine
Go, Dream, Deliver 我会中文 Can speak English 少しの日本语も話しできます 爱旅游,到处跑。 来上海的话,有空周四傍晚来SHLUG玩 Telegram:
@necokeine
做Ait自娱自乐中:
参加 December 2017
801
フォロー中
641
ファン
慧音-知识和历史的半兽
@Necokeine
2026.10.25 04:24
大家不是做MaaS的可能不清楚,DeepSeek开源的DeepInfer其实是一个非常为DeepSeek 4.1F非常深度定制的。 我举个例子,DeepInfer的任务摊派是完全不考虑显存容量的,为什么呢?因为DS 4.1F的KV极度优化,每个token只需要890个Byte,相当于即使一整条1M个token的上下文,也只需要890M,不到1G的显存。这在别家几乎是不可能的,即使是DS 4F,也需要这个尺寸的四倍。 就是因为有这么小的KV cache,DeepInfer可以完全不考虑显存,直接只限制batch size。 且不说Kimi K3.1那巨大的模型尺寸,巨大的激活参数带来的各种麻烦。K3时代,每个token在bf16时需要27kB,30倍左右的开销,即使FP8,也是15倍的开销。这种巨大的kv cache上的差异,再配合Kimi那主打长上下文的特性…… 推理工作非常难以展开的。
もっと見る
云辰 Cyan
@CyanCloud77
2026.10.25 00:24
Kimi 抄 Deepseek 推理框架都不会吗 kimi 的问题就是 infra 太差了,也就是推理性能太差了 导致订阅用户额度光速掉完,还宣发一堆幺蛾子 明明是一个很强的模型😑😑😑
もっと見る
0
0
4
46
4
コミュニティへ転送
人気のあるユーザー
New York Post
@nypost
4.3M ファン
オリコンニュース
@oricon
2M ファン
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K ファン
TVer新着
@TVer_info
101.8K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
Reuters
@Reuters
26.5M ファン
First Squawk
@FirstSquawk
579.6K ファン
Bloomberg
@business
10.5M ファン
モデルプレス
@modelpress
2.1M ファン
billboard
@billboard
16.8M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
ファミ通.com
@famitsu
1.4M ファン
cv usk
@cv_usk
470 ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン
zerohedge
@zerohedge
3.4M ファン