註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Azure Kamsaki oSushi
@kamsakihiyuuma
IT企業で部長をしています。37歳でIT未経験転職から4年目で年収は3倍に。現在は5年目に突入。 クラウド・生成AIシステムの設計・開発と、チームづくり、採用活動をしています。 AWS・Azure・生成AI・ITキャリア・年収・マネジメントについて発信。 中身は美少女野球選手です。
加入 April 2026
628 正在關注    1.5K 粉絲
Kimi K3's KDA breaks conventional prefix caching: the recurrent state is cumulative, so per-block snapshots blow up memory. vLLM's fix — decoupling state-block size from prefix-match granularity — enables partial cache hits. Day-0 serving, ready before the Jul 27 weights. JP deep-dive 👇
顯示更多
今夜はマニアック回。昨日7/22、vLLMが「Kimi K3を公開初日から本番規模で配信するための裏側」を公開しました。 主題は、K3の新注意機構KDAが従来のprefix cachingの前提を壊す問題と、その解法。 ↓ 推論基盤の人は必読です。
顯示更多