Tom's Hardware〈AMD shares how it can retain 95% of server performance with just half the DRAM, sidestepping memory shortages with MEXT〉｜2026年11月11日 1、MEXT 是什麼 1）AMD（ $AMD）在6月接手的預測式記憶體引擎。它把不常用的冷記憶體分頁搬到快閃記憶體，再用 AI 模型在需要之前把分頁搬回 DRAM。 2）依應用和效能目標不同，伺服器需要的實體 DRAM 可以少20%到75%，作業系統看到的仍是完整容量。 2、運作方式 1）主力是以 Transformer 為基礎的模型，像大型語言模型預測下一個字詞一樣，改成預測下一個會用到的記憶體分頁。只要預測能領先 SSD 的傳輸延遲，效能就像 DRAM 一直都在。 2）以 Linux 核心模組部署，適用任何 Linux 發行版。模型沒有預先訓練，首次部署不到一秒就訓練完成，只用一顆 EPYC 核心、不需要 GPU，之後會隨工作負載持續學習。 3）搬回分頁不需要照順序，只要用到時已經在 DRAM 裡就好。 4）搭配的 RAM View 工具會顯示分頁冷熱。AMD 舉例，一台1.5TB的系統看似全滿，但任何時間點都有約一半的分頁超過五分鐘沒被碰過。 3、AMD 公布的內部測試 1）Synopsys PrimeTime：DRAM 減半時保有95%效能，剩25%時保有80%。 2）Spark SQL（TPC-DS）在 Azure 上用第五代 EPYC 組成三節點叢集：DRAM 減半時保有99%效能。 3）代理式 AI：五個代理同時執行，DRAM 減半時保有99%效能，剩25%時保有85%；記憶體需求大的代理則分別保有90%和88%。 4）AMD 認為多數工作負載可以減少20%到25%的容量；減得越多，適用的應用越特定，效能落差也越大。 4、部署進度 1）AMD 內部已在145台伺服器上部署，明年擴大到2,000台。另外也和 HPE（ $HPE）合作推廣。 2）目前是第一階段，部分 EPYC Venice 伺服器會貼「MEXT Ready」標章，並配置專用的 NVMe 硬碟或槽位。第二階段會開放 MEXT 授權並搭配 RAM View，時間未定。 3）MEXT 目前只支援 EPYC，未來可能延伸到 Strix Halo 這類消費性產品，但時間還很遠。 [Tom's Hardware]

今天特斯拉财报电话会上，Elon Musk专门点名感谢了Micron，这段发言我认为信息量非常大。 “The memory shortage is very, very real for companies.” “Micron had to make some very tough decisions on memory allocation.” “We really appreciate Micron making room for Tesla in the years to come, and giving us actually very significant allocation on reasonable terms, given the pretty insane pricing of memory these days.” 翻译一下大概意思： 对于企业来说，内存短缺是真实存在，而且非常严重。美光不得不在内存产能分配上做出一些非常艰难的决定。特斯拉非常感谢美光在未来几年为其腾出了产能，并且在当前内存价格已经非常高的情况下，仍然给予了特斯拉非常大规模、且条件合理的内存供应。 听完整段发言，我认为有几个值得关注的信号。 第一，特斯拉再次确认AI时代内存供应依然非常紧张，“memory shortage is very, very real”并不是市场炒作，而是来自一线客户的直接反馈。 第二，美光已经掌握了内存供应链的话语权。客户争夺的不只是价格，更是产能配额（allocation）。当供应持续紧张时，谁能够获得更多配额，谁就拥有更大的竞争优势。 第三，马斯克提到的是“in the years to come”，说明双方锁定的是未来几年的供应，而不是短期采购。这也侧面反映出特斯拉对未来AI算力和内存需求有着长期规划。 第四，在当前内存价格已经处于高位的背景下，特斯拉依然愿意强调获得了“reasonable terms”，说明对于真正重要的AI客户来说，稳定供货远比压低采购价格更加重要。 我认为，这段发言再次证明，AI时代真正稀缺的不只是GPU，内存同样已经成为决定AI基础设施发展的关键资源之一。

今日办公室小思考： 7月之后最惨的可能就是 bottleneck boi 那套 long bottleneck。不是说瓶颈不重要，而是瓶颈本身并不能创造更多算力，赚的更多还是 scarcity rent。 最后 AI 最好的“上游”，其实还是谁能最快把 capex 变成 usable compute。 所以下半年是不是该从 long shortage duration 切到 long expansion？芯片、HBM/封装、networking、power/cooling，包括能把 utilization 拉上去的东西，本质上都在让算力更快上线。 说到底，最后买的可能不是 bottleneck，是 Δcompute

一篇不错的解读：《META出租H100与购买先进算力并不矛盾》 Meta 做 NeoCloud 与继续租 Crusoe 1.6GW，并不矛盾 昨天盘前，Meta 被报道正在考虑把多余 AI 算力对外商业化，甚至做成类似 NeoCloud 的业务。市场第一反应非常剧烈：Meta 盘前上涨接近 6%，但 AI算力和 neocloud 相关股票则受到负面 Narrative 影响, 市场担心的是：如果 Meta 也开始把 GPU 算力对外卖，是否会直接导致算力过剩？ 这个反应可以理解，但我们认为市场把问题想简单了。 首先，Meta 这件事本质上不是“AI 算力需求见顶”，也不是“Meta 不需要继续买算力”。相反，Meta 同时还在继续锁定非常大规模的新算力。根据 Bloomberg/Reuters 报道，Meta 最近与 Crusoe 签署了新的 AI computing capacity 协议，将从 Crusoe 位于 Texas Childress 和 Missouri Warrenton 的两个数据中心获得合计约 1.6GW 的容量。 同时，Meta还在向其他Neocloud购买算力。我们在去年3Q25 META Preview中就提到过META正在向NeoCloud寻求购买3GW算力。 所以表面上看，这里确实有一个矛盾：如果 Meta 自己已经有多余算力，为什么还要继续向 Crusoe 租 1.6GW？ 我们的理解是，这不是矛盾，而是算力代际切换。 过去两年，Meta 已经采购和部署了大量 H100/H200。这些 GPU 不是没价值，恰恰相反，它们对 inference、fine-tuning、企业模型服务、图像/视频生成、传统 ML workload 仍然非常有价值。但对于下一代 frontier model training，尤其是 3T+ 参数规模的 MoE、长上下文、多模态和 RL-heavy post-training，H100/H200 的训练经济性会明显下降。 关键不是 H100 不能训练，而是单位有效 token 成本变差。 当模型进入 3T+ 规模后，瓶颈不再只是单卡 FLOPS，而是 HBM 容量/带宽、GPU 间通信、scale-up 网络、checkpoint/restart、expert routing、sequence parallel、pipeline bubble、以及大规模 collective communication。H100 集群当然还能跑，但训练 wall-clock 更长，通信开销更高，集群利用率更难维持，最终表现为同样训练一个 frontier model，成本和时间都不如 GB200/GB300，未来更不如 Vera Rubin。 因此，Meta 现在面对的是一个很典型的资产配置问题： 最先进的 GB200/GB300/Rubin，要优先留给下一代模型训练；上一代 H100/H200，则应该尽量转成 inference 或外部商业化收入。 这也是为什么“做 NeoCloud”和“继续租 Crusoe 1.6GW”可以同时成立。 Meta 继续向 Crusoe 锁定 1.6GW，本质上是在为更长期、更先进、更大规模的 AI infrastructure 做准备。这种资源对于 Meta 来说，更多是未来 GB200/GB300/Rubin 时代的战略性产能，而不是简单补 H100 的缺口。 另一方面，Meta 既然已经买了大量 H100/H200，就不可能让这些资产在 frontier training 代际切换后闲置。Meta 内部当然有广告、推荐、内容排序等大量推理 workload，但这和 OpenAI/Anthropic 那种直接面向外部客户卖 token 的 LLM inference 业务并不完全一样。Meta 如果没有足够多可以直接 monetization 的外部 token demand，把 H100/H200 做成 cloud capacity 或 hosted model API 对外销售，是非常合理的资本回收方式。 这其实和 xAI / SpaceX 的思路有相似之处。xAI 今年公开宣布与 Anthropic 达成 compute partnership，向 Anthropic 提供 Colossus 1 算力；xAI 官方称 Colossus 1 包含超过 22 万张 NVIDIA GPU，包括 H100、H200 和 GB200，并可支持 training、fine-tuning、inference 和 HPC workload。(xAI) 这说明即使是 frontier AI 公司，也可能把一部分已有 GPU fleet 对外出租，同时把最新、最稀缺、训练效率最高的下一代集群保留给自己的 frontier model。 所以今天市场担心“Meta 进入 NeoCloud 会打垮所有 NeoCloud”，我们觉得有些过度。 更准确的判断应该是： AI 算力市场正在从单一的 GPU shortage，进入多代 GPU 分层定价和分层使用阶段。 第一层是最新训练算力：GB300、Rubin，以及后续更大 scale-up domain 的系统，主要服务 frontier model training。这部分供给仍然稀缺，客户仍然会向 Crusoe、CoreWeave、Nebius、Oracle、Microsoft 等各类供应商锁产能。 第二层是上一代高端算力：H100/H200/部分 GB200，更适合 inference、fine-tuning、enterprise AI、hosted model、agent workload 和中小模型训练。这部分不是没有需求，而是从“最稀缺的训练资源”变成“可以规模化商业化的推理资源”。 第三层是更通用的 GPU cloud 和 long-tail enterprise workload，对价格更敏感，但需求弹性也更大。 在这个框架下，Meta 的行为其实很合理：它不是停止建设 AI infrastructure，而是在把不同代际的 GPU 放到最适合的经济用途上。 因此，我们不认为这是 AI infrastructure 的大问题。真正重要的判断是：下一代 frontier model training 对 GB200/GB300/Rubin 的需求仍然非常强；同时，H100/H200 这类上一代 GPU 也不会被废弃，而会进入 inference monetization 和外部算力销售阶段。 这对整个 AI supply chain 的含义反而是： GPU fleet 开始变成多代际资产，而不是一次性训练工具。旧 GPU 不归零，新 GPU 继续稀缺。Meta 做 NeoCloud，不是需求崩了，而是算力资产终于开始金融化和商业化。