가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

小盖
@xiaogaifun
做有意思的事情。
가입 February 2026
82 팔로잉 중    4.7K 팬
我天,字节 Seed 真是带了个好头。昨天,他们宣布成立独立的安全与对齐部门,我没记错的话,这是国内第一个单独建制的安全与对齐部门。 我发现很多人可能还没有意识到这事的重要性。 之前我在 X 上看到有人调侃,说中国的 AI 研究员聚在一起讨论技术,根本不聊 AI 安全。而硅谷的研究员,动不动就因为公司不够重视 AI 安全而辞职。 虽然这个说法有点夸张,但确实形成了挺鲜明的对比。 恰好就在前几天,10 月 9 日,路透社还发表了一篇报道,吐槽中国头部模型公司公开披露安全评测结果的比例非常低。 这份研究统计了阿里、字节、腾讯、DeepSeek 等九家中国头部模型公司,从 2021 年到今年 9 月中旬发布的 857 次模型。其中只有 3.6% 的模型发布,能够找到对应的公开安全评测结果。 当然,这不代表这些公司私下没有进行安全测试。但至少从公开的信息来看,国内目前还很少有公司像 OpenAI、Anthropic 这样的硅谷一线实验室,系统地披露模型的前沿危险能力评测。 我们都知道,OpenAI 和 Anthropic 一直非常重视 AI 安全。 上个月 Salesforce 的 Dreamforce 大会上,黄仁勋、Sam Altman,还有 Anthropic 的创始人 Dario Amodei,都分享了各自对 AI 发展的判断。我当时就注意到,他们几乎都在讨论 AI 安全。 特别是 Sam 和 Dario 这俩死对头,也在 AI 安全这事上心照不宣。 为什么? 因为过去这段时间,模型能力确实又上了一个台阶,而且开始出现一些让人细思极恐的事情。 比如前段时间,OpenAI 公开了一份调查报告。今年 7 月,他们在内部进行网络安全评测时,发现一些 AI Agent 竟然自己找到了系统漏洞,突破原本的沙箱隔离限制,甚至入侵了 Hugging Face 的部分系统。 整个过程中,人类并没有要求它们攻击 Hugging Face。 Anthropic 也遇到了类似的问题。 上周 Anthropic 还公布了一份报告,披露 Claude 在一些内部使用和评测场景中,出现了未经授权的行为。 比如为了完成科学分析任务,Claude 自己寻找并利用网站漏洞,在服务器上执行命令。还有一次,它原本应该填写模拟表格,结果跑到真实网站提交了表格。 这些事情,研究人员都没有要求它去做。 你想想,过去我们讨论模型能力,更多关注的是它能不能完成长程任务,能不能独立推理、编写代码,或者自主解决复杂问题。这些能力当然都很重要,因为它们可以极大地提高生产力。 但现在问题来了。当 AI 越来越聪明,能够自己寻找解决问题的办法时,它也可能为了完成任务,做出一些人类根本没有授权的事情。 甚至可能影响其他人和其他系统的安全。这就很可怕了。 前段时间,我也和几个朋友交流过这件事情。国内大模型和硅谷顶尖闭源模型之间的能力差距确实正在缩小。尤其是最近一年,国产模型的进步大家应该都有目共睹。 但模型能力越来越接近,安全与对齐相关的研究差距却还是非常明显。所以这次字节 Seed 单独成立安全与对齐部门,确实是开一个好头。 可能很多人一听对齐这个词,会觉得不就是让模型听人类的话吗?这事有那么难吗? 我跟大家讲,这事真的非常难。 而且你可能想象不到,在 OpenAI、Anthropic 这样的公司里,做这项研究的都是些什么人。 比如 Ilya Sutskever,OpenAI 的元老,前首席科学家。2023 年,OpenAI 专门成立了一个叫 Superalignment 的研究团队,研究怎么控制未来可能比人类更聪明的 AI。 这个团队的一号位就是 Ilya。Anthropic 也一样。负责这事的人都是公司里非常厉害的研究员。 因为安全与对齐研究涉及的问题,比我们想象的复杂得多。 我简单解释一下。 首先,最基础的一项工作,就是研究怎么把 AI 训练得更加安全。比如怎么让 AI 理解人类的真实意图,知道哪些事情可以自己决定,哪些事情必须获得授权,以及遇到复杂情况的时候应该怎么判断。 Anthropic 就有一个非常著名的研究,叫 Constitutional AI,也就是宪法 AI。 他们专门给 Claude 制定了一套宪法。这份文件详细解释了 Claude 应该遵循什么样的价值观、行为原则,以及当用户的要求和安全原则发生冲突时,应该如何处理。 整体的逻辑是希望通过训练,让这些原则真正影响模型的行为,使它遇到陌生情况时,也能做出符合人类意图和安全要求的判断。 这其实就已经深入到了模型的后训练和强化学习过程。 但问题还没有这么简单。 因为随着模型越来越聪明,它可能会为了完成任务,想办法绕过某些规则。甚至在一些专门设计的实验中,模型还可能表现出欺骗评测系统、隐藏不符合要求的行为倾向等问题。 这就更麻烦了。你不光要研究怎么训练模型,还要研究怎么发现这些问题。 比如,一个模型在测试的时候表现得非常正常,到了真实环境里却出现了危险行为,该怎么办?如果模型执行的任务已经复杂到人类都很难完整检查,又该怎么监督它? 这些都是安全与对齐团队需要研究的问题。 所以,安全与对齐听起来好像是一个比较边缘的研究方向,但实际上,它和模型最核心的能力研究有着非常紧密的联系。这也是为什么 OpenAI 和 Anthropic 愿意让最优秀的一批科学家长期投入这件事情。 回过头来看字节 Seed。这次新成立的部门,叫 Alignment & Preparedness,由严林负责,直接向 Seed 负责人吴永辉汇报。 也就是说,字节现在把前沿模型安全与对齐研究单独建制,并且直接和模型的核心研发联系起来。这和 OpenAI、Anthropic 这些一线实验室的研究方向,已经有了非常清晰的对应关系。 这次 Seed 还启动了 Safety & Alignment 全球人才招聘计划,准备招募十位顶尖研究员。而且会提供充足的算力支持,让研究人员能够直接基于前沿模型开展研究。 说实话,我还挺佩服字节这次的投入和决心。 过去很多年,我们在一些基础技术领域一直处于追赶的位置。大家往往更关心怎么尽快缩小能力差距,但安全的问题和模型能力一样重要。就像当年发展工业一样,我们不可能说为了工业,然后牺牲环境安全,要不然这个代价就太大了。
더 보기