推荐这篇笔记，对 Kimi K3 架构的独立技术拆解。 六个要点——最让人意外的一条：它完全没有使用位置嵌入，在 2.8T 这种规模上仍然是第一个。 Sebastian Raschka 在 Kimi K3 技术报告发布第二天（7/28）写了一篇精炼的架构笔记，今天登上了 HN 首页（#12，419# 分）。文章很短但信息密度高，以下是六个要点。 1. 本质上是 Kimi Linear 的超级放大版 K3 的架构直接继承自去年的 Kimi Linear（48B），只是从 48B 放大到了 2.8T。"K3 是目前最大的开源权重模型。"（注：Kimi K3 有 2.8T 总参数，104B 激活） 2. 唯一新增组件是 LatentMoE 与 Kimi Linear 相比，K3 唯一的新架构组件是 LatentMoE——和 Nemotron 3 Ultra 使用的结构相同。核心思想是把大型线性层压缩（下投影），类似于 multi-head latent attention（MLA）的做法。 3. 整体趋势指向推理效率 K3 延续了 Nemotron 3、DeepSeek V4 等模型的共同方向：用效率优化版替换标准组件。具体来说： • MoE → LatentMoE • 标准 attention → multi-head latent attention + Kimi Delta Attention (KDA) 4. Attention Residuals 是唯一非效率类改动 与 DeepSeek V4 用 mHC（manifold-constrained Hyper-Connections）改进残差路径不同，K3 使用 Attention Residuals——跨层连接残差，连接本身用 attention score 作为重要性/贡献权重。根据技术报告，它一致地改善验证损失和下游性能（少量提升），带来约 4% 的训练成本增加和 2% 的推理成本增加。 5. K3 完全去掉了 RoPE K3 在所有层使用 NoPE（No Positional Embeddings），这也是从 Kimi Linear 继承的。近期其他架构的趋势是在局部 attention 层（如 sliding window attention）使用 RoPE，在全局层使用 NoPE。有过一些纯 NoPE 的架构，但据 Raschka 所知，K3 是第一个达到前沿水平的纯 NoPE 模型。 6. 原生多模态支持 K3 现在原生支持视觉输入——Raschka 把它列为值得关注的新增能力。 Raschka 的结论 "有一些其他有趣的训练细节在技术报告中，但架构方面的要点就是这些。总的来说是一次非常棒的发布。" Raschka 的 LLM 架构画廊（涵盖本文提到的所有组件）： 原文： #KimiK3# #LLMArchitecture# #SebastianRaschka#