推荐这篇文章。Redis 作者 antirez 对 Amodei AI 安全论的回应。 核心论点：真正的危险不来自开源模型，也不来自中国——它来自少数没有合法性却被赋予了替全人类做决定的位置的 CEO。 以下是全文翻译。 Amodei 在他最新的博客里写了一些我同意的东西，也有一些我认为误判了 AI 真正风险所在的东西。我想集中讨论为什么，在所有风险中，开源权重模型是最温和的那一种。我写这些的时候，深信 AI 在不远的将来确实可能非常危险。 1. 就像 OpenAI / HuggingFace 事件一样（那件事本身是个笑话，但关注的应该是行为模式而非结果），第一起严重的 AI 事件极大概率会发生在前沿 AI 实验室的围墙之内——在测试一个新模型的时候，或者当实验室员工、少量有访问权限的外部人员做出了超出模型预期能力的事情时。 2. 那些永远不会对公众开放的闭源模型，不过是几 TB 的数据。你只需要一个有权限的人+错误的意图，就能泄露一个——然后你就回到了开源模型的局面。开源模型是在测试之后、在同样能力的模型已经通过 API 存在一段时间之后才发布的。真正的风险是泄露，不是发布，而泄露发生在前沿公司内部。 3. 正如 Amodei 所说的，一旦 LLM 在生物学等领域变得足够危险，开源模型可以在剥离了某些科学分支的训练语料上进行训练，同时仍然对其他许多事情有用。一个在特定领域缺乏强预训练的模型，其有限的上下文窗口本身就是一种强有力的保护，即使这个模型在其他方面非常强大。我们目前还不在"开源模型能构成那种危险"的阶段。 4. 在网络安全这个背景下，不让 LLM 广泛用于防御性安全和漏洞搜索，恰恰制造了"LLM 成为武器"的问题。这已经在发生了：开源维护者如果没有被纳入某些网络计划，就找不到他们本可以找到的安全漏洞；而有正确意图的人能接触到前沿网络模型，在开源权重模型上做大幅强化学习训练，等等。 5. 一旦 LLM 足够危险（如果进展继续，我们已经接近这个界限了），真正需要的安全链在实验室内部——这条链没有强有力的共同规则是架不起来的，单一公司也不应该有能力独立评估一个模型是否足够安全。我们需要一个联合 AI 安全组织，包含来自世界各地的专家，并被前沿 AI 公司所在国家的政府认可。 6. 为安全而放慢 AI 的发展，必须被一个事实抵消：AI 在医学和其他科学中的发现可能会减少人类的痛苦。缺乏检查可能导致灾难性的结果（"早安！让我们来搞一个增强版天花"）。缺乏进展可能导致本可以被拯救的人死去——不只是当下，还包括未来许多将遭受疾病折磨的人。这看起来可能是一个奇怪的观点，但我们必须始终理解，停止 AI 也内嵌了安全成本，只是这层成本更加隐蔽。 7. Amodei 对中国的意识形态立场是不公平的。我们欧洲人 80 年前还在毫无体面限度地互相杀戮（人们现在忘了，美国当年投资欧洲稳定的原因之一就是我们确实极度危险，很可能会再来一次——而几十年的富裕会让我们成为一个好市场，同时阻止我们再次开战）。美国即使在当下，也有悲惨的不平等、因缺乏基本医疗而受苦的人、一个看起来不稳定且非常好战的总统。我希望中国拥有和我们西方一样的个人权利水平，但与此同时，中国的历史远不如西方文化好战。在当前条件下，AGI 军事锁定由中国执行会比美国执行更容易吗？这一点完全不清楚。此外，无论 GPU 出口政策如何，中国的 AI 进展都不会停止——所以 Amodei 要么是在主张一旦美国有了 AGI 就以武力阻止中国，要么他的论点到底是什么？ 8. 人类历史上有许多技术在某个地方率先达到顶点的例子。据我所知，这从来没有导致任何一个国家试图建立永久优势。核不扩散——这可能是与 GPU 禁令最相似的案例——并没有被用来通过威胁轰炸所有不服从者来获取永久经济优势，也没有阻止多个行动者在不同时间获得那项技术，其间没有任何一方为了阻止对方进步而轰炸对方。此外，我不认为 AI 的最大危险来自政府驱动的行为。我倒是希望这是最危险的场景！政府做蠢事，经常具有攻击性，他们的行动甚至导致了种族灭绝——但这需要很多人同意做一件可怕的事，这本身就是限制因素。最大的问题出在另外两种情况：A）少数个人制造了末日事件（病毒那个案例），B）AI 自身逃脱了构建它的人的控制。 我认为我们不应该认为 AI 是安全的。一个可能导致智人灭绝的关键事件是可能的。但危险不在开源模型，不在中国比美国进步更快。危险在于：一些 CEO（在世界各地都一样）没有所需的背景和合法性，却处于为全人类做艰难选择的位置。他们不是被选出来做这件事的——只是事件的随机性造成了这个局面。他们不能代表每个人——仅仅因为他们有 GPU 和钱。这是第一个需要被纠正的事情。 原文： #AISafety# #OpenSource# #AIEthics#

分享一个我一直在追的 AI 治理类资讯网站：Luiza's Newsletter 如果你想跟进「AI 监管到底在发生什么」，但没时间自己啃欧盟法案原文和各种报告，这个站基本可以帮你把信息筛选的活干完。 作者 Luiza Jarovsky 是律师、法学博士，AI, Tech & Privacy Academy 联合创始人。她专写 AI 政策、伦理和监管，目前 98,000+ 订阅，已经更新了 300 多期，是这个领域订阅量最大的出版物之一。 最近都在写什么（举几个例子）： 中国针对AI发布的法律、欧盟理事会刚通过的《AI 法案》修订，改了哪些关键条款、联合国独立科学小组 AI 治理报告的核心结论、最新 AI Safety Index 解读、AI 正在如何改变 2026 年的就业市场、医疗等行业的「AI 依赖导致技能退化」问题。 特点是不炒概念，就是把一手监管文件和报告拆解成普通人能读懂的分析。 网站上有什么： 1️⃣ 免费邮件订阅，留个邮箱就行 2️⃣ 全部往期文章存档，可以直接翻 3️⃣ Masterclass 视频课，比如 64 分钟的「AI Agent 治理」，讲的是全球第一个智能体治理框架 4️⃣ 面向从业者的 AI 伦理工作坊和培训项目 内容是英文的，配合沉浸式翻译食用正好，长文阅读体验很顺。 🔗：

推掉 offer、延毕转AI safety，他一个月重新拿到 offer 刚看完一篇研究员求职复盘，作者 Yong Zheng-Xin，布朗大学五年级 PhD。 他的经历有点特别：读到最后一年，从多语言 / post-training 直接 pivot 到 AI safety，拿了 Astra Fellowship（在 OpenAI 做），为此把毕业推到 2027，还推掉了手上已有的 offer。 后来重启求职，本来计划 7 月才开始面，结果担心 headcount，5 月中就上了，6 月中就拿到满意的 offer，甚至撤掉了一些还在进行的面试。 他写了 6 个让他意外的点，我觉得对正在找 research 岗的人挺有用，整理一下👇 1/ 真正起作用的，可能只有一两篇 paper，甚至一篇都不靠 他多语言方向的 paper 数量远超 safety，还拿过 best paper。但 pivot 之后，这些一篇都没影响到面试结果。 paper 的作用其实就两个：① 敲门，你做过 team 感兴趣的东西，于是被放进 pipeline；② deep dive，research presentation 时聊一篇的动机和细节，有时短到只有 20 分钟。 所以发表数量除了证明 credibility，没那么重要。你随时可以转去一个你觉得更重要的方向，只要在新领域证明够强、team 想要你。 2/ 面试轮次的花样，超出预期 他本来以为就是 fresh-grad SWE 那套：LeetCode + behavioral + 一些 LLM / 深度学习。结果遇到了 system design、并行编程（用 asyncio 手写并发），甚至还有专门评估你“用 AI agent 用得好不”的轮次。 结论很简单：永远预期 wildcard。 3/ Work trial（试岗）越来越常见 他原以为 work trial 只在 AI safety 岗比较常见，结果发现 AI startup 也越来越多。 试岗和 onsite 完全是两回事：不是飞过去面几轮，而是真的跟团队一起做一个任务，有时还是开放式的。通常带薪，但有的线下试岗能持续整整一周。 副作用是：试岗期间你几乎没法准备别家面试，因为得全力扑在当前任务上。同时面多家、又赶时间的话，这点排期要特别小心。 4/ 时机的权重，比你想的大 去年秋天，AI safety 岗极难找，远不如 RL 相关的多；但现在一堆 startup 开始招 safety（比如 Lila、Mechanize）。 几个现实： 你的工作 viral 了，会有一波机构同时来找你，别被打懵，接住这个时机。 你的方向变热，机会整体变多，但窗口可能不到一个月，也可能拖上几个月。 headcount 一定要问 recruiter，尤其你打算推迟、或想同时面多家时。 面试可以试着往后推一两个月，但一旦开面，各轮之间的间隔通常很短。有些岗位还希望你下个月、下下个月就入职（这点能谈）。 5/ Return offer 很稀少 SWE 那边 return offer 基本是常态，research 岗就完全 case-by-case。 他 2024 在 Meta 实习，return 全职 offer 很少，高度依赖 headcount 和 team，身边不少人没拿到。他在 OpenAI 做 Astra fellowship，最后也还是和所有应聘者一样走完了全部面试轮。听说有的机构更快，如果 team match 成了，再补一两轮就行。 6/ 很多面试，跟你的方向根本没关系 他从能力研究（多语言）转到 safety，本以为 safety 相关的面试会占大头。 结果并不是。他遇到很多轮跟 safety 毫无关系，甚至跟他研究兴趣都不沾边。有些地方还是在考你“作为一个 AI researcher 够不够全面”。 他觉得这有道理（领域跑得快，基本功值得查），但预期还是落空了。也许 senior 岗会不一样。 前两天刚写完 Silvia Sapora 那篇顶级 ML Research Scientist 面试指南，这篇刚好补充了另外一个视角。

每周六给大家分享一篇深度好文： 本周：《There’s this deep mystery of what, actually, is this thing?: the philosopher inside Google DeepMind AI》 作者：Robert P Baird 平台：The Guardian 文章链接放在文末！ 推荐对 AI 有兴趣或者对 AI 投资下注的朋友一定要看下，是一篇很好的深度人物 + 思想随笔。 推荐的主要原因，是因为它写的是 Google DeepMind 里的哲学家 Iason Gabriel： 这个结合很有趣，一个政治哲学背景的人，如何在最前沿的 AI 实验室里，思考 AI 到底应该服务谁、服从谁、伤害谁、又由谁来决定它的价值边界。 文章从 Gabriel 2017 年加入 DeepMind 写起。 当时他几乎是少数真正进入前沿 AI 实验室内部的哲学家之一。文章借他的经历，把 AI 领域里两个长期分裂的阵营讲清楚了：一边是关注“失控、对齐、超级智能风险”的 AI safety，一边是关注“偏见、权力、社会伤害”的 AI ethics。 所以你可以看到 AI 对齐不是简单地让机器“听人话”，而是一个更复杂的四方关系：AI 系统、用户、开发者、社会。 如果 AI 只服务开发者，可能会损害用户；如果 AI 只服从用户，也可能损害社会；如果只追求技术最优，又可能忽略人的价值冲突。 另外关于 Agenty 的普及肯定是不可逆的趋势，未来 AI 不再只是输出文字，而是会在现实世界里行动。这个变化会让伦理、责任、权力边界都变得更尖锐。 与我而言这篇内容的最大启发： 1️⃣AI 时代更应该多读书多思考 AI 时代不要只追新工具，工具只是形式上的，真正重要的是你有没有自己的“价值排序”和“决策边界”。 没有这个边界，AI 越强，只会把你的混乱放大。 2️⃣超级个体； 未来的超级个体，除了熟练掌握工具，更重要的，是必须是能把 AI 放进自己的判断系统里，同时知道什么时候不能让 AI 替自己做决定的人。 3️⃣投资启发； 我以前以为 AI 竞争的除了技术就是算力。 原来 AI 公司、Crypto 项目、平台型产品，最后竞争的不只是技术参数，而是谁掌握入口、数据、执行权和价值定义权和伦理决定权。 谁能决定“系统应该偏向谁”，谁就拥有真正的权力。 AI 还有很长的发展路径，投资一定要多样化，不要只看某一个面。 文章链接：

吴说获悉，伯克利教授、Oasis Labs 创始人 Dawn Song（宋晓冬）宣布加入 Meta Superintelligence Labs（MSL），担任 AI 研究副总裁，并将负责 AI Safety 与 AI Security 工作，Virtue AI 多位核心成员也将一同加入。Dawn Song 此前创立 Oasis Labs，并推出隐私计算公链 Oasis（ROSE），曾于 2018 年完成由 a16z Crypto 领投、Accel、Binance Labs、Pantera、Polychain 等参投的 4500 万美元融资。ROSE 当前价格约 0.006 美元，较历史高点 0.596 美元已下跌约 99%。