在 CoreWeave ($CRWV) 2026 年 Q2 财报电话会议中，管理层特别提到有客户签署了延伸至 2029 年的 A100 租赁合同。 由于Michael Burry等空头认为很多大厂强行延长了GPU的折旧时间，属于财务粉饰；也因此很多人认为这狠狠地打了Michael Burry的脸。 打不打脸另说，但这至少说明英伟达的GPU硬件的使用寿命会比大家想象的要长很多。传统印象中硬件很快就会过时，但英伟达 $NVDA在软件生态方面的改进，对旧硬件的续命与价值挖掘是有突出贡献的。 英伟达并非仅靠更新硬件（如 Hopper/Blackwell）来提升性能，其全栈软件生态的持续演进大幅延长了 A100（Ampere 架构）的技术生命周期与投资回报率（ROI）： 1. 推理优化框架（TensorRT-LLM / vLLM 兼容）大模型推理算力释放：英伟达推出的 TensorRT-LLM 以及对开源社区（如 vLLM）的深层适配，引入了如 PagedAttention、Chunked Prefill（分块预填充）、投机采样（Speculative Decoding） 等高级优化技术。吞吐量倍增：通过纯软件层的内存管理与 Kernel 融合优化，A100 在运行主流开源大语言模型（如 Llama 3 系列、DeepSeek 系列）时的推理吞吐量和延迟表现，比硬件发布初期提升了数倍，使其非常适合承担性价比极高的中量级推理任务。 2. FlashAttention 与算子级（Kernel）优化突破 HBM2e 带宽瓶颈：A100 拥有 80GB HBM2e 显存和 2 TB/s 带宽。随着 FlashAttention-2 及后期针对 Ampere 架构算子的持续重构，GPU 在注意力机制计算时的显存读写开销大幅降低，使得计算单元（Tensor Cores）利用率接近极限。 TF32 与 INT8/FP16 持续调优：英伟达在 CUDA 代码库中持续完善 Ampere 专有的 Tensor Float 32 (TF32) 及混合精度计算吞吐，免去了企业大幅修改底层代码的麻烦。 3. 多实例 GPU（MIG）与细粒度切分资源弹性复用：A100 硬件上支持将单卡切分为最多 7 个独立的 MIG（Multi-Instance GPU）实例。 云原生调度优化：结合英伟达 Triton Inference Server 和云厂商（如 CoreWeave）的编排软件，企业可以将 80GB 的 A100 精细化切分给轻量级 AI 服务（如 Embedding 模型、小参数微调、RAG 向量检索等），实现极高的资源利用率和单位成本效益。 4. CUDA 向后兼容性与生态长寿命支持（LTS）版本不脱节：英伟达最新的 CUDA 版本（如 CUDA 12.x+）和底层驱动保持着对 Ampere 架构的完整原生支持与功能适配。 NGC 优化容器：英伟达在 NGC（NVIDIA GPU Cloud）上持续更新针对 A100 优化的深度学习框架容器（PyTorch、TensorFlow、NeMo 等），确保用户无需更改底层架构即可直接享受到软件栈带来的性能增益。 总结与行业视角英伟达的“软硬一体”策略使硬件随着时间推移因软件更新而变快（Software-Driven Performance Upgrades）：集群成熟度（已部署、即开即用、供电稳定） + 软件持续优化（降低推理 Token 成本） = 旧卡仍具备高经济价值。对于很多企业而言，训练超级大模型可能需要 Hopper 或 Blackwell，但在长尾推理、中小型模型微调、RAG 和数据预处理等场景下，经过软件高度优化后的 A100 提供了极佳的成本效益比，因此租赁合同顺理成章地延长到了 2029 年。

一台 GB300 NVL72： → 72 颗 GB300 (Blackwell Ultra) GPU + 36 颗 Grace CPU。 → 单卡显存：GB300 288 GB HBM3e → 整机柜总显存：72 × 288 GB ≈ 20.7 TB → NVLink 总带宽约 130 TB/s → 全机柜通过 NVLink 5 连成统一内存池，可以视为一张拥有 20TB 显存的“超大 GPU”。 DeepSeek-V4-Flash-0731 核心规格： →304B 参数（0731 仓库包含 DSpark speculative decoding 模块） → 基础模型 284B → 13B activated → 1M context → 官方权重为 FP8 + FP4 Mixed 加油 OpenCode !

想在 2026 年成为世界级软件工程师？光闷头写代码可不够，得知道外面的人都在琢磨啥。 刷到一份博主整理的 Newsletter 清单，五个方向，我看了下覆盖得还挺全，从底子到带团队再到 AI，基本一条龙。给你扒出来： 1️⃣ 系统设计 The System Design Newsletter，搞懂大系统怎么搭，这块是硬功夫，绕不过去。 🔗 2️⃣ 给工程师用的产品思维 Product for Engineers，PostHog 出的，写代码的人也得懂点产品，不然永远只是执行的那个。 🔗 3️⃣ 工程管理 Engineering Leadership，Gregor Ojstersek 写的，想从写代码的混到带人的，看这个。 🔗 4️⃣ 搞懂 AI Decoding AI Magazine，Paul Iusztin 出品，2026 年还不碰 AI，那是真要被落下了。 🔗 5️⃣ 每周科技精选 Hungry Minds，一周挑几篇值得读的，省得你自己满世界翻。 🔗 说句实话，光收藏不读等于没看。挑一两个你最缺的，先订上，每周抽点时间扫一遍，一年下来差距就出来了。

转一下苏剑林老师对 K3 架构的复盘。 一句话概括，K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技，核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下： KDA，一种线性 Attention MLA，一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE，对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes，用可学习的跨层注意力，替代固定等权的残差累加 几个比较有意思的点： ① K3 同时使用了 KDA 和 MLA。另外，训练仍然用 Moonlight 版本的 Muon 优化器，Attention 权重改成 Per-Head Muon，每个 Head 独立优化。苏神说这不会直接提高效果，主要是数学和结构上更合理：各个 Head 本来就相对独立，不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维，再使用更多专家，最后升维，在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU，用 softcap 压住异常激活；又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定，在 Valid Loss 差不多的情况下，不加它，某些 Benchmark 会稳定变差。 （这里有超级多的技术细节，感兴趣的可以看苏神原文） ③ 关于MLA DSV4 看上去都换设计了，K3 怎么还在用 MLA？苏神的答案是，目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态，推理时 KV Cache 较小；在固定训练成本和 KV Cache 大小时，MLA 依然近乎最优。 它的问题是对 MTP（推测解码）不够友好。MTP 的思路是“用计算换速度”，而 MLA 在 Decoding 阶段本身就比较吃计算，再叠一个 MTP，两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8，效果很难打赢 MLA，KV Cache 还是 MLA 的三倍多；换成 256+256 的 MFA（本质上是 MQA），训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计，能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下，MLA 的部分问题得到缓解，所以 K3 最后还是选了 MLA。 ④ 苏神觉得，DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention，但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA，这正是 MLA 在 Decoding 阶段的形态；再加上 Sparse + Compress，前者减少计算，后者进一步压缩 KV Cache，同时减少计算。 方向很激进，不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE，是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构，像 K2 那种全 MLA 模型，直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是：大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构，而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间，找一个当前更合适的组合。 苏神原文里还有很多技术内容，非常值得一看。 原文地址：

推荐这篇文章，Together AI 的 ThunderAgent（ICML 2026 Spotlight）。 把 agent 工作流当成一个"程序"来调度，而非一系列无关的请求——单节点吞吐翻倍，8 节点近线性扩展。 Together AI 在 7 月 29 日发布了 ThunderAgent——一个面向 agentic 推理的高吞吐调度系统。ICML 2026 Spotlight 论文。核心贡献：把 agent workflow 抽象为"程序"而非"一系列不相关的请求"。 问题：KV Cache Thrashing Agent 工作流在两个阶段之间交替：GPU 密集的推理阶段和 GPU 空闲的等待工具返回阶段。当数百个 agent 并发运行时，各自的 KV cache 在每轮不断增长，竞争有限的 GPU 内存。 传统推理引擎（vLLM、SGLang、TensorRT-LLM）按请求级别调度——agent A 暂停等待工具调用时，它的 KV cache 被 LRU 淘汰腾出空间给 agent B 的 prefill。当 A 的工具返回，引擎必须从头重算 A 的整段对话历史，这又淘汰了 C 的 cache。高并发下，这种淘汰和重算的级联反应导致严重的吞吐量和延迟退化——论文称之为 KV cache thrashing。 能通过加 GPU 节点解决吗？不完全。现有多节点路由器（如 SGLang Gateway）把每个 agent 钉在固定节点上以保留 cache 局部性——但 agent 的上下文长度不可预测增长，某些节点被赋予长上下文 agent 导致内存耗尽，其他节点闲置。 能通过 KV cache offloading 解决吗？也解决不了。LMCache 和 HiCache 把 KV cache 卸载到 CPU 内存或磁盘，扩大了总容量但只是延迟 thrasthing。当并发 agent 的工作集超过所有存储层级时，淘汰恢复，同一个恶性循环重现。 ThunderAgent 的解法 ThunderAgent 在 agentic 客户端和推理后端之间插入一个轻量调度层。它将每个 agent 工作流抽象为一个可调度程序（program），追踪其执行阶段、KV cache 占用和节点位置。 Program-level admission control：监控每个节点的内存压力，选择性暂停低优先级工作流，减少竞争 cache 的程序数量。当被暂停的工作流准备恢复时，通过全局等待队列路由到容量最充足的节点。 多节点部署：用全局等待队列替代了基于 session 的静态节点绑定。暂停的工作流恢复时被路由到可用容量最多的节点，在 KV cache 局部性和多节点负载均衡之间取得平衡。 评测 集成在 Together AI 自己的合成数据生成管道里——就是产生 CoderForge 等数据集的那套基础设施。对比 SGLang 默认调度器： 单节点 8×H100（HiCache offloading），batch size 192： • SGLang：吞吐 390 token/s，平均延迟 65s • ThunderAgent：吞吐 803 token/s，平均延迟 10.6s 多节点（2→8 节点）： • 近线性扩展，16 GPU 到 64 GPU 吞吐从 671 增长到 2248 steps/min • 加速比随集群规模增大：2 节点 1.79× → 8 节点 2.39× 使用 一个 program_id 字段，OpenAI 兼容 API，直接适配现成的 offloading 和 speculative decoding。已被 SkyRL 和 NVIDIA Dynamo 集成。 GitHub： 论文： #AgentInference# #KVcache# #ThunderAgent#

半个月前，「晚点LatePost」以姚顺雨入职腾讯300天为题写了篇深度稿，不出意外的刷了一波屏，也算是新的混元团队对外做了一次系统性汇报。 不过很少有人注意到的是，就在第二天，「Z Finance」也发了一篇关于微信WeLM加大技术成果宣传的报道，直言这是腾讯AI在混元之外的「第二条线」。 时隔多年，又双叒叕看到似曾相识的赛马画面，这我可就一点儿都不困了啊⋯⋯ WXG（微信事业群）在腾讯内部的独立地位，从来不是秘密，在大模型这件事情上，微信也有自己的考量，自研大模型WeLM今年开始突然积极「营业」，就是一个再明显不过的信号。 根据媒体透露，在今年的腾讯年会上，微信团队是找集团表态了的，要求提供更多GPU来训练模型，这在当时集全公司资源支持元宝的背景下，显得非常「没眼力劲」。 但是比较让人意外的是，凭借远远不如混元的算力资源，微信在大模型上交的答卷，其实⋯⋯还挺厉害的： 基于微信和混元各自最新发布的模型自测结果，在7项重叠指标上，WeLM有6项领先于HY 3，而且这还只是WeLM-617B，并不是Hidden Decoding的完全体，而HY 3已经是正式版了，两个模型都是7月发的。 就很反直觉，对不对？ 要知道，混元最近再次完成了一轮整合，把多模态并入了大模型部门，再加上Infra，三条线全部交给姚顺雨统一管理，这种程度的权力倾斜在腾讯的公司史上也是很少见的。 气氛都烘托到这里了，然后HY 3没打过WeLM，这就有点尴尬了。 再说一个很有意思的，微信和混元的赛马场面看起来十分激烈，但实际上，属于字节一队和字节二队在前线火拼。 微信WeLM的模型架构负责人张思钧，是从字节Seed Model团队过去的，WeLM之所以在主打成本效益的MoE路线上建树颇丰，就是因为他把Seed极致工程化的强项带过去了。 我甚至看到有Seed的同学说，WeLM更新的博客文章里，有几个技术构想很眼熟，都是张思钧之前当同事时尝试过的⋯⋯ 此为字节一队。 至于另一边的「熟人」就更多了，姚顺雨手底下都快被字节Seed出来的人包围了，包括RL Infra组负责人张弛、RL算法组负责人袁钰峰、直接协助姚顺雨的肖学锋等等，全是核心板块的坑位。 他们集中在2025年底到2026年初这个时间段入职，属于姚顺雨「刷脸」成功的结果，用于补强混元模型的基础能力。 此为字节二队。 所以四舍五入，微信和混元突然开始内部赛马，本质上是字节一队和字节二队在暗地里较劲，而且目前还是一队暂时领先二队。 要知道，字节Seed的AI人才密度之高，已经是行业里公认的事实了，他们的外溢流动，大多始于心志勃发，想在一个更缺骨干——当然也意味着更有向上空间——的新系统里快速爬升。 戏剧性的是，这些散是满天星的「SSR碎片」，同时被腾讯集齐了，并在内部阴差阳错的形成了两个对垒的阵营，一队去了微信，二队去了混元。 而从过往经验来看，内部赛马这件事情，总体而言依然是利大于弊的，弊端无非是一些可以预见的资源浪费，但和保持组织活性的收益相比，可以说是微不足道的。 就像微信当初是从广州跑出来的，王者荣耀则是成都团队做的，腾讯做产品是有从边缘到中心这种传统的，AI战事才刚开了个头，已经属实格外精彩了。 根据高盛6月发布的一份研报，WXG和TEG并行开发模型的结构一时半会儿是不会变的，混元挂靠在TEG，同时TEG的总裁也是负责分配算力的拍板人，优势很大，但WXG硬是凭自己的模型表现上了桌，加上微信手握14亿月活的大场景，哪边更有话语权还真说不好。 我的感觉是，微信确实有打差异化的心思，提前走位规避所谓「重复造轮子」的质疑，比如会反复强调资源效率，要用更经济的方式去探索AI服务。 这既可以理解为卡量有限的不得已选择，也能代入到微信对于自身用户规模的谨慎，但是无论如何，这种特殊性，给WeLM从训练到推理全链路自建提供了充分的理由。 大概率，WXG不会让TEG进来处理微信的数据，主权问题，不容谈判。 但我也想不出来，混元能够抛开微信把腾讯AI做得风生水起的画面。 腾讯在WAIC的展台我是去了的，亮相的AI产品全家桶几乎都是姚顺雨在内部推动「协同」之后的友军，唯独微信只放了一个表情包生成设备，画风迥异。 不知道你们会如何看待这两条AI管线的未来？ 还是那句话，竞争，尤其是向上的竞争，是好事，这是「经济上行的美」不可或缺的风景线。

择偶里 “性格互补” 并没有数据支撑，长期稳定关系的核心是相似性。婚配分成三层匹配：表层表演型匹配、社会层级匹配，还有遗传特质匹配。 匹配要素权重上，价值观、生活习惯排在第一位，其次是学历与认知，大五人格这类性格特质相关性反而很低。互补只能制造短期新鲜感，长久相处容易不断产生矛盾。认知相近的两个人沟通成本更低，这种舒适感是大脑本能偏好的相处模式。 我这么说吧，性格互补还是相似其实倒是其次的，关键是价值观必须越接近越好，这才是deciding factor