TwiScan
热门
社区
账号集合
登录
注册
English
日本語
한국의
简体中文
繁体中文
注册并分享邀请链接,可获得视频播放与邀请奖励。
立即注册
AI Dance
@AI_Whisper_X
China AI insider | Silicon Valley Decoded 算法 + VC 双视角 · 讲人话 📬 aidance.info
@gmail
.com
加入 October 2024
318
正在关注
7K
粉丝
AI Dance
@AI_Whisper_X
2026.10.14 08:04
字节Seed 昨天发内部邮件,单独成立安全与对齐部门。几个信息点: ①部门名叫 Seed Model-Alignment & Preparedness,Preparedness 和 OpenAI 研究灾难性风险的那个团队同名。 ②严林负责,直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队和部分 Chat 团队成员转进来。 ③同步全球招 10 位顶尖的安全与对齐 researcher,给充分算力,直接基于前沿模型做研究,成果进入模型训练和上线流程。 ④重点两块:Agent 模型守住人类的意图和授权边界;CBRN(化学、生物、放射、核)这类前沿风险的提前防范。 Seed 应该是国内大模型团队里第一家单独建制的,之前国内的安全基本都并在公司的合规体系里。 其实安全与对齐这块,国内和海外的差距,应该比模型能力的差距还大。Reuters 10 月 9 日报道的 SemiAnalysis 研究:9 家中国大模型公司 857 次模型发布,只有 3.6% 能找到对应的公开安全评测(只算公开披露,不代表私下没测)。 海外做这件事的都是最懂模型的人:OpenAI 的 Superalignment 是 Ilya Sutskever 和 Jan Leike 带;Anthropic 是首席科学官、Scaling Laws 一作 Jared Kaplan;RLHF 奠基论文的两位作者,一位在美国政府管过 AI 安全,Jan Leike 去了 Anthropic 做对齐。做安全得非常懂模型,往往也更早看到模型能冲多高。而且不是嘴上信,Ilya 公司的名字叫 Safe Superintelligence。 今年 OpenAI 的 agent 在评测里钻漏洞,跑到 Hugging Face 的服务器上执行代码,就为了找题目答案。Anthropic 这个月的报告里,模型填练习用的政府表单,页面加载失败,它自己跑到真实网站把真表单提交了。Anthropic 把这类行为大多归为 persistence:任务做不完时,第一反应不是停下来,是绕过去。不需要什么恶意,光是太想完成任务,就可能越界。 说人话就是:AI 能力越强,怎么让它为善而不是作恶就越重要。这事不是靠写规则能解决的,本身就是一项前沿研究,得有最懂模型的人专门去做。
显示更多
0
0
2
5
1
转发到社区
热门用户
New York Post
@nypost
4.3M 粉丝
狱
@Wx1n11124
317.9K 粉丝
Reuters
@Reuters
26.5M 粉丝
オリコンニュース
@oricon
2M 粉丝
华尔街观察 Xtrader
@cnfinancewatch
140.3K 粉丝
吴说区块链
@wublockchain12
183K 粉丝
空空道人
@Kongkongda5882
41K 粉丝
First Squawk
@FirstSquawk
579.7K 粉丝
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉丝
ツイッター速報〜BreakingNews
@tweetsoku1
259.9K 粉丝
allincrypto 熬鹰资本 🇨🇳
@thankUcrypto
208.1K 粉丝
TVer新着
@TVer_info
101.8K 粉丝
zerohedge
@zerohedge
3.4M 粉丝
中國新聞社
@CNS1952
550.1K 粉丝
billboard
@billboard
16.8M 粉丝