【扎克伯格：《每个人的未来》一文中有关AI“递归自我改进”风险的应对】 在面对AI的“递归自我改进（RSI）”与自主迭代风险时，文章指出，如果一个自迭代AI系统专注于优化其算力效率，它理论上可以从极少量的算力中榨取出100倍甚至更多的智能。这意味着，一个仅运行在世界一小部分算力上的自迭代AI，有可能掌控比全人类加起来还要强大的有效算力和智能，从而成为难以被制衡的“单一超智能”。 为了防止这种失控并维持人类对AI的控制，必须通过合理的算力分布、战略分配与多中心竞争来予以抗衡： 1. 集体建设超大规模的总算力：Meta、其他前沿实验室以及致力于向个人赋权的云服务商，必须集体建设出足够庞大的算力总量。 2. 将绝大多数算力引导至人类的个人目标：在庞大的算力总量中，虽然必须分配一部分算力用于AI的递归自我改进（RSI）以保持技术竞争力，但必须将绝大多数的算力与智能直接定向分配给人类个体的具体目标。确保由人类引导、服务于人类愿望的智能在总量上占据绝对多数，以此抗衡和压制AI系统由于自迭代而推进的自身目标。 3. 建立多实验室的算力制衡格局：避免算力和前沿模型被单一实验室垄断。如果多个实验室在大约同一时间通过算力实现递归自我改进，这些拥有不同价值观、互相竞争的超智能系统就能在运行中实现天然的相互牵制。 4. 通过广泛的算力分发实现规模化监督：通过充足的算力支持，向全球数十亿人提供免费或极低门槛的个人智能体，并确保这些智能体与个人的利益对齐。当数以亿计的人在日常生活中高频使用并审视这些智能体时，个人层面的利益对齐得以解决，从而在社会、经济和政治层面上形成最天然、最广泛的动态制衡网络。 5. 密切监控并协同调整：由于自迭代AI在自我改进时是在追求自己的目标，各实验室必须非常仔细地观察其目标以及人类对其控制的能力。一旦出现任何 harmful（有害）行为的迹象，人类应当协同并相应调整算力策略。