ai将让每一台电脑，都装上核按钮 --- 托马斯·霍布斯 zixi @ZixiStablestock和@allen_su1024 关于“都拥有顶级模型才能像各国都掌握核武器一样实现恐怖平衡，然后才能开始控制” 是一个很有意思的观点 我也想来啰嗦两句。 事情的发展，可能比核军备竞赛严重的多的多，设置可能完全失控，原因如下： 核威慑的历史经验是：核能力高度集中在少数国家，尤其冷战时期核心结构近似为：美国↔苏联 双方都有可靠二次打击能力，因此形成：首次打击→报复→双方毁灭 这样一个相互确保毁灭（MAD--Mutual Assured Destruction）。这是一种战略均衡，不是一份协议。 参与者越多，战略关系数量非线性增加。 若有 N 个独立行为体，两两关系数量为：N(N−1)​/2 例如：N=10⇒45个双边关系，而N=100⇒4950个双边关系 任何一个双边关系出问题，都会导致可能出现核威胁失控 所以威慑、协调、验证、危机管理和误判路径都会迅速复杂化。 同理，军控难度也会随着参与者增加而快速上升。 因为参与者越多，潜在的否决者就越多，共识越难形成。 真正危险的是“小概率 × 大量参与者”。 假设每个行为体在某段时间内因恶意、事故、误判或失控触发严重事件的概率是 p，有 N 个独立行为体，则至少一个出事的概率约为：P(至少一次)=1−(1−p)n次方 当 p 很小时：P≈NpP 因此，即使单个行为体非常可靠，只要参与者足够多，系统整体风险仍会显著上升。 而现实中的风险可能比线性增长更糟。 因为行为体并不真正独立。一次攻击可能导致报复、误判和连锁升级，所以可能出现： 单点事件→连锁反应→系统性灾难 开放api的模型，和开源模型，及这些模型的快速进化，所带来的并不是中国vs美国， 其带来的是非国家行为体，未来甚至是小组织、个人获得这些能力的门槛的不断降低， 其带来的是“毁灭性能力扩散化” 这不会带来更强威慑，只会增加系统的脆弱性。 少数国家之间还能建立热线、核查、军控、指挥链和危机管理；如果能力扩散到成千上万乃至数百万个行为体，这套机制很难复制。 这个时候，问题就从“国家间威慑”转变成“超大规模尾部风险叠加”，而最坏情况的发生，就会从小概率，变成大概率，甚至必然。 这将会是托马斯·霍布斯所说的，所有人对所有人的战争（bellum omnium contra omnes） 不一样的是，每个人手里，可能都掌握着毁灭所有人的武器； 每一台电脑，可能都是核按钮。。。 注：标题并非霍布斯观点，其实是鲁迅说的😅