Kimi K3's KDA breaks conventional prefix caching: the recurrent state is cumulative, so per-block snapshots blow up memory. vLLM's fix — decoupling state-block size from prefix-match granularity — enables partial cache hits. Day-0 serving, ready before the Jul 27 weights. JP deep-dive 👇
显示更多
今夜はマニアック回。昨日7/22、vLLMが「Kimi K3を公開初日から本番規模で配信するための裏側」を公開しました。
主題は、K3の新注意機構KDAが従来のprefix cachingの前提を壊す問題と、その解法。
↓ 推論基盤の人は必読です。
显示更多