推荐这篇文章。Redis 作者 antirez 对 Amodei AI 安全论的回应。
核心论点:真正的危险不来自开源模型,也不来自中国——它来自少数没有合法性却被赋予了替全人类做决定的位置的 CEO。
以下是全文翻译。
Amodei 在他最新的博客里写了一些我同意的东西,也有一些我认为误判了 AI 真正风险所在的东西。我想集中讨论为什么,在所有风险中,开源权重模型是最温和的那一种。我写这些的时候,深信 AI 在不远的将来确实可能非常危险。
1. 就像 OpenAI / HuggingFace 事件一样(那件事本身是个笑话,但关注的应该是行为模式而非结果),第一起严重的 AI 事件极大概率会发生在前沿 AI 实验室的围墙之内——在测试一个新模型的时候,或者当实验室员工、少量有访问权限的外部人员做出了超出模型预期能力的事情时。
2. 那些永远不会对公众开放的闭源模型,不过是几 TB 的数据。你只需要一个有权限的人+错误的意图,就能泄露一个——然后你就回到了开源模型的局面。开源模型是在测试之后、在同样能力的模型已经通过 API 存在一段时间之后才发布的。真正的风险是泄露,不是发布,而泄露发生在前沿公司内部。
3. 正如 Amodei 所说的,一旦 LLM 在生物学等领域变得足够危险,开源模型可以在剥离了某些科学分支的训练语料上进行训练,同时仍然对其他许多事情有用。一个在特定领域缺乏强预训练的模型,其有限的上下文窗口本身就是一种强有力的保护,即使这个模型在其他方面非常强大。我们目前还不在"开源模型能构成那种危险"的阶段。
4. 在网络安全这个背景下,不让 LLM 广泛用于防御性安全和漏洞搜索,恰恰制造了"LLM 成为武器"的问题。这已经在发生了:开源维护者如果没有被纳入某些网络计划,就找不到他们本可以找到的安全漏洞;而有正确意图的人能接触到前沿网络模型,在开源权重模型上做大幅强化学习训练,等等。
5. 一旦 LLM 足够危险(如果进展继续,我们已经接近这个界限了),真正需要的安全链在实验室内部——这条链没有强有力的共同规则是架不起来的,单一公司也不应该有能力独立评估一个模型是否足够安全。我们需要一个联合 AI 安全组织,包含来自世界各地的专家,并被前沿 AI 公司所在国家的政府认可。
6. 为安全而放慢 AI 的发展,必须被一个事实抵消:AI 在医学和其他科学中的发现可能会减少人类的痛苦。缺乏检查可能导致灾难性的结果("早安!让我们来搞一个增强版天花")。缺乏进展可能导致本可以被拯救的人死去——不只是当下,还包括未来许多将遭受疾病折磨的人。这看起来可能是一个奇怪的观点,但我们必须始终理解,停止 AI 也内嵌了安全成本,只是这层成本更加隐蔽。
7. Amodei 对中国的意识形态立场是不公平的。我们欧洲人 80 年前还在毫无体面限度地互相杀戮(人们现在忘了,美国当年投资欧洲稳定的原因之一就是我们确实极度危险,很可能会再来一次——而几十年的富裕会让我们成为一个好市场,同时阻止我们再次开战)。美国即使在当下,也有悲惨的不平等、因缺乏基本医疗而受苦的人、一个看起来不稳定且非常好战的总统。我希望中国拥有和我们西方一样的个人权利水平,但与此同时,中国的历史远不如西方文化好战。在当前条件下,AGI 军事锁定由中国执行会比美国执行更容易吗?这一点完全不清楚。此外,无论 GPU 出口政策如何,中国的 AI 进展都不会停止——所以 Amodei 要么是在主张一旦美国有了 AGI 就以武力阻止中国,要么他的论点到底是什么?
8. 人类历史上有许多技术在某个地方率先达到顶点的例子。据我所知,这从来没有导致任何一个国家试图建立永久优势。核不扩散——这可能是与 GPU 禁令最相似的案例——并没有被用来通过威胁轰炸所有不服从者来获取永久经济优势,也没有阻止多个行动者在不同时间获得那项技术,其间没有任何一方为了阻止对方进步而轰炸对方。此外,我不认为 AI 的最大危险来自政府驱动的行为。我倒是希望这是最危险的场景!政府做蠢事,经常具有攻击性,他们的行动甚至导致了种族灭绝——但这需要很多人同意做一件可怕的事,这本身就是限制因素。最大的问题出在另外两种情况:A)少数个人制造了末日事件(病毒那个案例),B)AI 自身逃脱了构建它的人的控制。
我认为我们不应该认为 AI 是安全的。一个可能导致智人灭绝的关键事件是可能的。但危险不在开源模型,不在中国比美国进步更快。危险在于:一些 CEO(在世界各地都一样)没有所需的背景和合法性,却处于为全人类做艰难选择的位置。他们不是被选出来做这件事的——只是事件的随机性造成了这个局面。他们不能代表每个人——仅仅因为他们有 GPU 和钱。这是第一个需要被纠正的事情。
原文:
#
AISafety# #
OpenSource# #
AIEthics#