Meta 刚公布了他们那个号称要冲到 100 万张 GPU 的 Prometheus 超级集群的细节,看完真的只能笑叹一句:顶尖科技的尽头,本质上全是修补与渡劫。
大家都在传“ Meta 跑个 32768 张 GPU 的训练,居然要准备将近 4900 张卡来伺候硬件故障”,听上去极其荒谬。但仔细拆开里面的逻辑更搞笑——他们为了凑计算机最喜欢的二进制次方(64 张卡一列),硬是在每个 72 卡的机柜里,塞了 8 张卡当“备胎”。
也就是说,这几千张卡不是因为质量太差天天坏,而是老祖宗传下来的算法规则,强行让它们生来就是当替补的。
更绝的是这个级别的集群物理现实:几十上百公里的光纤串着几十万张卡,训练一启动,当地电网的功率能直接抖动 40%。显卡还没烧,隔壁电力公司的调度员估计先心律不齐了。
以前觉得大模型算力大战拼的是谁钱多、谁能抢到黄仁勋的订单。现在看明白了,这分明是一场“人类如何在一个动不动就断网、断电、显卡抽风的物理世界里,强行把上百万个硅片拧成一股绳”的工程玄学。
AI 的终点,真不一定是奇点,可能先是水冷管爆裂和变压器炸裂。
顯示更多