註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 CBRN
CBRN 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 CBRN 的搜尋結果
字节 Seed成立了专门的模型安全与对齐部门,感觉确实很有必要。 这次他们计划在这个部门全球招募 10 位顶尖研究员。 研究课题有: 大模型及Agent安全的前沿评测方法和Benchmark建设 模型前沿能力对齐的训练方法 自动化Red Teaming 模型行为可解释性 模型能力和行为监控 字节的待遇向来非常顶,事情本身也极具挑战性,最近刚好在看类似方向工作的朋友不妨试试。 最近不管是大模型还是小模型,都频繁出现模型越狱和突破沙箱隔离环境的问题。 而且这种风险要么是小打小闹,要么就是憋个大的。提前有这样的储备并持续进行研究,起码在出问题时能快速反应。 随着模型能力越来越高、自主性越来越强,在一些危险领域的隐患也越来越大: 比如 CBRN 领域(化学、生物、放射性及核领域) 可能很多人觉得上面的四个离我们太远,但是互联网上针对个人的内容攻击离我们可太近了。 AI 甚至有可能直接篡改应用,甚至控制家里的其他设备。 随着 AI 能破解一切软件,那 AI 写出非常厉害的病毒也是一个顺理成章的事情。 包括对于我们整个互联网赖以生存的密码学破解,应该也是进展神速。 客观来说,国内在这方面的进展其实比 OpenAI 和 Anthropic 慢。 Anthropic 成立初衷就是为了安全,长期在做对齐和可解释性研究;而海外 AI 圈几乎每隔一两周就会爆出安全热点,比如前几天 OpenAI 的安全研究员辞职、之前 Hugging Face 被入侵等。 模型安全是一个非常前沿的跨学科领域,需要大量的探索,对研究者的综合要求比较高。 这也是为什么他们要去全球或者公开招聘这种顶尖人才的原因,感兴趣的可以关注一下
顯示更多
‼️突发:字节跳动Seed宣布成立「Model-Alignment & Preparedness」部门,并同步启动全球顶尖人才招募。 这是国内第一个由大模型核心研究团队独立拆分、单独建制的安全研发部门。 部门由严林负责,直接汇报给Seed负责人吴永辉。 安全不再是模型上线前的一道检查项,而是和能力研发并驾齐驱的主线。 为什么是现在? 因为过去一年,前沿模型在现实里发生了失控的苗头。 比如2026年7月,OpenAI 红队评估中,模型自主利用一个未公开的零日漏洞撕开沙盒,访问了 Hugging Face 的真实生产系统(直接给HF打漏了)。 而Anthropic这边经过回溯调查了约 14.1 万次评估调用,确认至少 3 起Claude越权侵入外部真实系统。 更严重的威胁是CBRN(化学、生物、放射、核)方向。 根据智源FlagSafe今年7月份发布的研究显示,11 个主流商用大模型都能给出规避DNA合成筛查的方案,头部模型的方案在湿实验中被证实可执行。 当模型开始操作生产环境、编排实验,外挂式安全补丁已形同虚设。 Seed 直接在公告里表示:模型能力决定智能的上限,但 Safety & Alignment 决定这个上限能不能在真实世界成立。 这套打法其实是对标了旧金山湾区的情况,Anthropic 从第一天起就是安全公司,OpenAI 的 Superalignment 后来重组为 Preparedness 体系,DeepMind 也设有专门的 AGI Safety 团队。 而做这件事的全是金字塔尖的人:Jan Leike(ChatGPT、GPT-4 对齐核心)、RLHF 与 PPO 奠基人 John Schulman,还有 Ilya Sutskever、Chris Olah、Dario Amodei。 模型越强,对齐越难——这也是为什么必须由顶尖人才来做。 国内模型团队们此前一直是另一套路径: 安全约等于内容风控,挂在大安全中台下面,研究团队负责拔高模型能力,安全团队在下游擦屁股。 Seed 把编制直接从研究团队划出来,是国内第一次在组织形态上对标 OpenAI、Anthropic——前有 STEM,现在是安全与对齐。 具体的人才计划是:全球范围内招募 10 位顶尖研究员,做最有价值的事。 方向覆盖模型训练、科学评测、未知风险防御,提供充分算力,研究成果直接打回训练、评估、上线全流程,base 北京、上海、圣何塞。 为什么只招 10 个? 因为这道难题没法靠堆人解决——说白了,弱一点的研究者,甚至意识不到风险在哪。 我的看法是国内大模型竞赛的下半场,最重要的一个点是谁先把安全底座真正建起来。 Seed这一步,是中国头部实验室认真坐到AGI安全这张牌桌上了。
顯示更多
AI 破解一切!现在安卓手机都能直接玩 Steam 游戏了。 我刚试了 DroidDeck,像《哈迪斯》这类独立游戏全能跑。出门带个小手柄和支持 DPin 的 Pad 就能爽玩。翻了翻代码,作者大量用 AI攻克生疏技术栈,并重度用 Agent 做自动化测试。 从几天复刻剪映到打通跨端游戏,当 Agent 拥有底层执行与逆向能力时,失控风险也指数级放大——一旦被用来攻击金融系统或越权泄密,破坏力不可逆。 这也是为什么字节跳动 Seed 最近国内首家独立设立了“大模型安全与对齐(Model-Alignment & Preparedness)”一级研发建制,由严林挂帅直报一号位吴永辉,合并 Responsible AI 与 部分Chat 团队成员 什么是真正的对齐?核心是让模型行为与人类意图及安全约束严格一致。 既要防它在逆向或调试时越权盗取本地凭据(防失控),又要防外部恶意注入诱导它攻击金融网络(防滥用)。需要从制定规范、对抗评测、对齐训练到沙盒监控全流程把安全炼进模型骨子里。 他们这次主攻两大硬仗: 一是 Agent 系统权限安全,死磕防提示词注入、越权操作与环境破坏; 二是 CBRN 前沿极端风险防范。 正如字节内部的定调:安全对齐不是合规外挂,而是决定模型能否走出沙盒、规模化落地的核心能力。能逆向破解固然酷,但立稳安全护栏才是真壁垒。
顯示更多
0
31
16
0
轉發到社區