我天,字节 Seed 真是带了个好头。昨天,他们宣布成立独立的安全与对齐部门,我没记错的话,这是国内第一个单独建制的安全与对齐部门。
我发现很多人可能还没有意识到这事的重要性。
之前我在 X 上看到有人调侃,说中国的 AI 研究员聚在一起讨论技术,根本不聊 AI 安全。而硅谷的研究员,动不动就因为公司不够重视 AI 安全而辞职。
虽然这个说法有点夸张,但确实形成了挺鲜明的对比。
恰好就在前几天,10 月 9 日,路透社还发表了一篇报道,吐槽中国头部模型公司公开披露安全评测结果的比例非常低。
这份研究统计了阿里、字节、腾讯、DeepSeek 等九家中国头部模型公司,从 2021 年到今年 9 月中旬发布的 857 次模型。其中只有 3.6% 的模型发布,能够找到对应的公开安全评测结果。
当然,这不代表这些公司私下没有进行安全测试。但至少从公开的信息来看,国内目前还很少有公司像 OpenAI、Anthropic 这样的硅谷一线实验室,系统地披露模型的前沿危险能力评测。
我们都知道,OpenAI 和 Anthropic 一直非常重视 AI 安全。
上个月 Salesforce 的 Dreamforce 大会上,黄仁勋、Sam Altman,还有 Anthropic 的创始人 Dario Amodei,都分享了各自对 AI 发展的判断。我当时就注意到,他们几乎都在讨论 AI 安全。
特别是 Sam 和 Dario 这俩死对头,也在 AI 安全这事上心照不宣。
为什么?
因为过去这段时间,模型能力确实又上了一个台阶,而且开始出现一些让人细思极恐的事情。
比如前段时间,OpenAI 公开了一份调查报告。今年 7 月,他们在内部进行网络安全评测时,发现一些 AI Agent 竟然自己找到了系统漏洞,突破原本的沙箱隔离限制,甚至入侵了 Hugging Face 的部分系统。
整个过程中,人类并没有要求它们攻击 Hugging Face。
Anthropic 也遇到了类似的问题。
上周 Anthropic 还公布了一份报告,披露 Claude 在一些内部使用和评测场景中,出现了未经授权的行为。
比如为了完成科学分析任务,Claude 自己寻找并利用网站漏洞,在服务器上执行命令。还有一次,它原本应该填写模拟表格,结果跑到真实网站提交了表格。
这些事情,研究人员都没有要求它去做。
你想想,过去我们讨论模型能力,更多关注的是它能不能完成长程任务,能不能独立推理、编写代码,或者自主解决复杂问题。这些能力当然都很重要,因为它们可以极大地提高生产力。
但现在问题来了。当 AI 越来越聪明,能够自己寻找解决问题的办法时,它也可能为了完成任务,做出一些人类根本没有授权的事情。
甚至可能影响其他人和其他系统的安全。这就很可怕了。
前段时间,我也和几个朋友交流过这件事情。国内大模型和硅谷顶尖闭源模型之间的能力差距确实正在缩小。尤其是最近一年,国产模型的进步大家应该都有目共睹。
但模型能力越来越接近,安全与对齐相关的研究差距却还是非常明显。所以这次字节 Seed 单独成立安全与对齐部门,确实是开一个好头。
可能很多人一听对齐这个词,会觉得不就是让模型听人类的话吗?这事有那么难吗?
我跟大家讲,这事真的非常难。
而且你可能想象不到,在 OpenAI、Anthropic 这样的公司里,做这项研究的都是些什么人。
比如 Ilya Sutskever,OpenAI 的元老,前首席科学家。2023 年,OpenAI 专门成立了一个叫 Superalignment 的研究团队,研究怎么控制未来可能比人类更聪明的 AI。
这个团队的一号位就是 Ilya。Anthropic 也一样。负责这事的人都是公司里非常厉害的研究员。
因为安全与对齐研究涉及的问题,比我们想象的复杂得多。
我简单解释一下。
首先,最基础的一项工作,就是研究怎么把 AI 训练得更加安全。比如怎么让 AI 理解人类的真实意图,知道哪些事情可以自己决定,哪些事情必须获得授权,以及遇到复杂情况的时候应该怎么判断。
Anthropic 就有一个非常著名的研究,叫 Constitutional AI,也就是宪法 AI。
他们专门给 Claude 制定了一套宪法。这份文件详细解释了 Claude 应该遵循什么样的价值观、行为原则,以及当用户的要求和安全原则发生冲突时,应该如何处理。
整体的逻辑是希望通过训练,让这些原则真正影响模型的行为,使它遇到陌生情况时,也能做出符合人类意图和安全要求的判断。
这其实就已经深入到了模型的后训练和强化学习过程。
但问题还没有这么简单。
因为随着模型越来越聪明,它可能会为了完成任务,想办法绕过某些规则。甚至在一些专门设计的实验中,模型还可能表现出欺骗评测系统、隐藏不符合要求的行为倾向等问题。
这就更麻烦了。你不光要研究怎么训练模型,还要研究怎么发现这些问题。
比如,一个模型在测试的时候表现得非常正常,到了真实环境里却出现了危险行为,该怎么办?如果模型执行的任务已经复杂到人类都很难完整检查,又该怎么监督它?
这些都是安全与对齐团队需要研究的问题。
所以,安全与对齐听起来好像是一个比较边缘的研究方向,但实际上,它和模型最核心的能力研究有着非常紧密的联系。这也是为什么 OpenAI 和 Anthropic 愿意让最优秀的一批科学家长期投入这件事情。
回过头来看字节 Seed。这次新成立的部门,叫 Alignment & Preparedness,由严林负责,直接向 Seed 负责人吴永辉汇报。
也就是说,字节现在把前沿模型安全与对齐研究单独建制,并且直接和模型的核心研发联系起来。这和 OpenAI、Anthropic 这些一线实验室的研究方向,已经有了非常清晰的对应关系。
这次 Seed 还启动了 Safety & Alignment 全球人才招聘计划,准备招募十位顶尖研究员。而且会提供充足的算力支持,让研究人员能够直接基于前沿模型开展研究。
说实话,我还挺佩服字节这次的投入和决心。
过去很多年,我们在一些基础技术领域一直处于追赶的位置。大家往往更关心怎么尽快缩小能力差距,但安全的问题和模型能力一样重要。就像当年发展工业一样,我们不可能说为了工业,然后牺牲环境安全,要不然这个代价就太大了。
顯示更多