가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

AI Dance
@AI_Whisper_X
China AI insider | Silicon Valley Decoded 算法 + VC 双视角 · 讲人话 📬 aidance.info@gmail.com
가입 October 2024
318 팔로잉 중    7K 팬
字节Seed 昨天发内部邮件,单独成立安全与对齐部门。几个信息点: ①部门名叫 Seed Model-Alignment & Preparedness,Preparedness 和 OpenAI 研究灾难性风险的那个团队同名。 ②严林负责,直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队和部分 Chat 团队成员转进来。 ③同步全球招 10 位顶尖的安全与对齐 researcher,给充分算力,直接基于前沿模型做研究,成果进入模型训练和上线流程。 ④重点两块:Agent 模型守住人类的意图和授权边界;CBRN(化学、生物、放射、核)这类前沿风险的提前防范。 Seed 应该是国内大模型团队里第一家单独建制的,之前国内的安全基本都并在公司的合规体系里。 其实安全与对齐这块,国内和海外的差距,应该比模型能力的差距还大。Reuters 10 月 9 日报道的 SemiAnalysis 研究:9 家中国大模型公司 857 次模型发布,只有 3.6% 能找到对应的公开安全评测(只算公开披露,不代表私下没测)。 海外做这件事的都是最懂模型的人:OpenAI 的 Superalignment 是 Ilya Sutskever 和 Jan Leike 带;Anthropic 是首席科学官、Scaling Laws 一作 Jared Kaplan;RLHF 奠基论文的两位作者,一位在美国政府管过 AI 安全,Jan Leike 去了 Anthropic 做对齐。做安全得非常懂模型,往往也更早看到模型能冲多高。而且不是嘴上信,Ilya 公司的名字叫 Safe Superintelligence。 今年 OpenAI 的 agent 在评测里钻漏洞,跑到 Hugging Face 的服务器上执行代码,就为了找题目答案。Anthropic 这个月的报告里,模型填练习用的政府表单,页面加载失败,它自己跑到真实网站把真表单提交了。Anthropic 把这类行为大多归为 persistence:任务做不完时,第一反应不是停下来,是绕过去。不需要什么恶意,光是太想完成任务,就可能越界。 说人话就是:AI 能力越强,怎么让它为善而不是作恶就越重要。这事不是靠写规则能解决的,本身就是一项前沿研究,得有最懂模型的人专门去做。
더 보기