Azure Kamsaki oSushi
@kamsakihiyuuma
IT企業で部長をしています。37歳でIT未経験転職から現在4年目、年収は3倍に。クラウド・生成AIシステムの設計・開発と、チームづくり、採用活動をしています。
AWS・Azure・生成AI・ITキャリア・年収・マネジメントについて発信。
中身は美少女野球選手です。
Joined April 2026
414 Following 769 Followers
Kimi K3's KDA breaks conventional prefix caching: the recurrent state is cumulative, so per-block snapshots blow up memory. vLLM's fix — decoupling state-block size from prefix-match granularity — enables partial cache hits. Day-0 serving, ready before the Jul 27 weights. JP deep-dive 👇
Show more
今夜はマニアック回。昨日7/22、vLLMが「Kimi K3を公開初日から本番規模で配信するための裏側」を公開しました。
主題は、K3の新注意機構KDAが従来のprefix cachingの前提を壊す問題と、その解法。
↓ 推論基盤の人は必読です。
Show more
