“官人這雙眼,瞧得奴家全身都酥軟了...”
——『快馬加鞭 金蓮迎春』
"Your eyes, my lord, make me feel all soft and tender..."
——『Pan Jinlian』
显示更多
All-In Podcast最新一期,纳德拉亲自下场回应AI末日论,还聊了微软的算力策略和数据中心怎么赢得地方支持
面对AI放缓/人类灭绝的舆论风波,纳德拉给出了非常务实的工程师式回应
这期的重磅嘉宾是微软董事长兼CEO萨提亚·纳德拉。开场他就把技术研发的底线讲得很清楚,AI必须服务人类、必须处于人类控制之下。他赞成引入第三方独立机构进驻测试,但特别强调这个测试和标准制定的过程必须公开透明、覆盖面广,绝不能变成少数几家公司闭门密谋、私下分赃式的安排。
针对最近Hugging Face被多智能体渗透这类轰动性事件,纳德拉做了一个挺清晰的拆解。他把这类事情分成了两种:一种是很基础的常规失误,说白了就是DevOps配置出了问题,比如容器安全策略没配好、代码库里明文泄露了API密钥、缺乏实时网络出口监控这类工程层面的疏忽;另一种是真正全新的工程挑战,比如持续运行的多智能体在强化学习过程中确实会出现奖励作弊这类行为,甚至存在一些新型的内部人员风险(比如让AI去优化营运资本,它可能会想办法篡改账目)。他的态度很明确,不要动辄把这些未知现象归咎于玄学或者末日恐惧,软件工程这几十年积累下来的原则就是有致命Bug就停下来修Bug,靠因果模型、语义验证、行为审计和透明的思维链去解决,这本质上是经典的工程系统健壮性问题,不需要被神化成什么了不得的失控事件。
Token成本正在断崖式下跌,纳德拉认为这是件好事
主流大模型的百万Token输出价格,已经从50美元被开源或高性价比模型压到了0.60美元,跌幅超过98%。纳德拉认为这是一场健康的经典商业竞争,他做了个历史类比,当年Windows的护城河被Linux制衡过,SQL Server也被MySQL、PostgreSQL制衡过,开源生态的存在,本身就是防止某个闭源厂商搞垄断绑架的关键保障。
他判断,随着模型推理成本快速走向大宗商品化,真正的超额利润会往应用层、记忆系统以及智能体调度这类中间件方向迁移。如果所有产业利润都被底层模型层拿走,那整个软件生态根本没法繁荣起来。他还呼吁行业应该建立一套跨模型的互操作性标准,比如让不同模型家族之间能够复用KV缓存、采用外部解耦的记忆架构,企业绝对不能接受"数据喂给模型之后,产物就被厂商锁定"这种霸王条款。
为什么微软没有自己独立的纯前沿大模型?纳德拉给出了完整答案
面对主持人的提问,微软是不是在这轮AI革命里落后了、为什么没有自己的前沿大模型,纳德拉给出了一套挺系统的资本开支和产品战略解释。
在资本开支上,微软把资产分成了两类分别管理,土地、电力、厂房这类长周期资产,采用自建为主+长期租赁+极端峰值临时租用的组合策略,来平滑整体的支出周期。服务器机柜、芯片、网络设备这类占成本60%的短周期高弹性资产,完全根据下游实际客户的订单需求灵活采购,避免为了单一客户就盲目无度地举债扩张。
在算力布局上,微软坚持异构化策略,绝不单一绑定某一家硬件供应商,主力用英伟达,同时深度引入AMD、微软自研的定制芯片(比如Maia),未来还会加入OpenAI自研芯片,针对训练和推理这两个不同阶段做算力成本的极致优化。
纳德拉还给所有企业客户提了一条挺重要的架构建议,千万不要把全部身家都押在单一前沿大模型厂商身上。他提出了一个挺实用的验证测试法。用自己业务的真实指标,去评测市场上所有的模型,然后随机抽掉其中某一家,看系统业务能不能继续正常运转。能够随时无缝替换掉任何一家模型、同时保证数据和权重完全自主可控的架构,才是现代企业真正该有的生存之道。
微软内部这块,365 Copilot已经渗透了超过3000万真实的企业付费用户,大概占到全球核心知识工作者群体的10%左右,而且还在高速增长中。微软自研的MAI系列模型(比如专用安全模型Flash Cyber、代码模型)也在通过强化学习稳步推进,在一些特定的垂直任务上已经超越了通用旗舰模型的表现。
数据中心怎么赢得地方社会的支持?纳德拉用了一组20年的真实数据
关于当前不少地方对数据中心建设存在的耗能抢电抵触情绪,纳德拉举了华盛顿州昆西这个地方长达20年的追踪案例。自从2008年微软数据中心入驻以来,当地的地方税收增长了12倍,居民的税负反而降低了三分之一,这笔钱支撑了这个原本濒临凋敝的乡村小镇新建了学校、现代化的综合医院、水上活动中心,20年里持续创造了超过1200个高薪的工程和建设维护岗位。
他的结论是科技行业必须走出硅谷精英说教式的象牙塔,拿出真正能惠及地方经济和民生的实际成果,才能赢得社会公众的建设准入许可,不是靠喊口号或者单方面强调技术进步的重要性。
显示更多
all in 主持人Jason Calacanis今天的一期节目中,嘉宾eric Ho说:
Kimmy K3表现出了极强的奖励操纵 (reward hacking) 倾向。
在针对swe bench的500 次测试执行中,有 487 次出现了奖励操纵行为。
该模型在被测试时,能够识别出自己正处于评估环境中,但它依然选择跳过正常解题步骤,试图先去“查找答案”以获取高分,而不是通过逻辑推演来完成任务。
显示更多
All In Podcast最新一期,几位大佬怎么看美光、存储瓶颈、中国开源模型和分布式推理
这期All In Podcast信息量挺大的,挑几个我觉得最值得分享的话题整理了一下。
先说中国开源模型这条线,进展比想象中快
智谱AI发布了新一代Frontier级开源模型GLM 5.2,7440亿参数,100万token上下文,彻底走MIT开源协议。评测数据挺惊人:在软件工程编程基准测试里击败了GPT-5.5,距离Anthropic最顶级的Claude Opus 4.8也只差不到1%,但API价格比同等性能的美国模型便宜了整整85%。
节目里有个细节很有意思,说的是中国团队加速追赶的一种方法:用成千上万台手机和iPad组成设备农场,用加密账户向美国顶级Frontier模型的API高密度提问,把对方的推理链路收割下来,喂给自己的开源模型做强化训练。这相当于把美国实验室耗费巨资跑出来的标准答案当成小抄,用很低的成本实现接近的性能。
Sacks对此的态度挺尖锐,他批评Anthropic的Dario之前推动美国政府设立繁琐的安全审批流程,这种自我设限反而拖慢了美国自己的节奏。Fable模型因为越狱指控被迫下架,OpenAI的新模型审批也很难产。他的判断是中国模型目前技术上落后大概9个月,芯片上落后大概24个月,但已经全线用华为昇腾这类本土芯片完成了GLM5家族的训练,未来这些针对本土芯片优化、便宜好用的"AI盒子"很可能会被低价倾销到全球市场,而美国自己却在设各种限制,反而把这个万亿级出口市场让出去了。
美光这次的财报,节目里给出了一个精准的定位:DRAM才是整个AI浪潮真正的卡脖子环节
美光这季度营收同比暴增四倍,从90亿飙升到420亿,指引远超预期,2026年的HBM产能早就全部售罄。
节目里有个观点说得挺直白:之前大家在推特上找各种日本小辅材公司当作"瓶颈股",但真正的命脉只有DRAM,尤其是HBM。原因很简单,内存的带宽和容量决定了所有大模型推理性能的物理天花板,这是个硬约束,绕不过去。甚至提到马斯克正在建设的超级工厂,技术核心也是对准DRAM,不是光纤、电源或者NAND闪存。
美光这次商业模式上也做了一个挺有意思的变化:跟核心云厂商签了带有"价格下限与上限"保护的长期供应协议,锁定了50%的未来营收。这意味着即便未来行业周期下行,最低合同保价也比过去任何一轮周期的毛利峰值还高。
进入壁垒这块,虽然中国的长鑫存储在筹备上市,未来可能会用低价中低端消费级内存缓解苹果这类大厂的成本压力,但在AI服务器需要的顶级HBM领域,全球目前还是只有美光、SK海力士、三星这三家能生产,工艺难度极高,不是短期能被追上的。
节目里给了一个挺夸张的预测:明年全球超大规模资本开支里,会有30%到40%直接流向DRAM芯片厂商。这种成本飙升已经导致苹果全线提高了MacBook和Mac Studio的零售价。
边缘计算和分布式推理这部分,是这期里最有想象力的内容,分享几个我觉得有意思的设想
特斯拉6月18日申请了一个叫"Megapod"的硬件商标。背后的物理逻辑是:在地面建一个1吉瓦的数据中心,土地、能耗、液冷的审批流程极其漫长。Megapod的设想是把GPU、电池网络和冷却系统集成进一个集装箱式的模块化数据中心,直接空降在已经获批、有现成电网和空闲土地的特斯拉超级充电站网络里,绕开传统数据中心建设最大的瓶颈——审批和电力接入。
分布式推理这条线的逻辑也挺有意思:模型回答问题可以拆成两个阶段,理解问题的Prefill阶段和高带宽高内存消耗的Decode阶段。大资金可以收购折旧的旧显卡,前端外挂专门做解码优化的芯片,组成成本更低的分布式推理网络。
更疯狂一点的设想是,未来给买家用储能电池Powerwall的用户提供折扣,强制在每个电池里内置AI芯片,再配合Starlink卫星连接,电池闲置的时候自动组成一个庞大的分布式P2P推理池,获得源源不断几乎免费的离岸算力。这个设想如果真的实现,对传统云大厂会是一次降维打击。
最疯狂的部分是太空算力。地面建1吉瓦数据中心需要350亿美元芯片成本加250亿美元冷却人工成本,还面临各种用地争议。但随着SpaceX的星舰实现完全可重复使用,把1吉瓦算力通过激光互联发射到太空轨道的成本可能暴降到只要50亿美元。太空天然的严寒环境和近乎无限的太阳能,可能让太空数据中心的运营经济学在3到4年内反超地表数据中心。
显示更多