歸藏(guizang.ai)
@op7418
关注人工智能、LLM 、 AI 图像视频和设计（Interested in AI, LLM, Stable Diffusion, and design）
歸藏的 AIGC 周刊｜公众号：歸藏的AI工具箱
Joined August 2013
1.3K Following 181.9K Followers
字节 Seed成立了专门的模型安全与对齐部门，感觉确实很有必要。
这次他们计划在这个部门全球招募 10 位顶尖研究员。
研究课题有：
大模型及Agent安全的前沿评测方法和Benchmark建设
模型前沿能力对齐的训练方法
自动化Red Teaming
模型行为可解释性
模型能力和行为监控
字节的待遇向来非常顶，事情本身也极具挑战性，最近刚好在看类似方向工作的朋友不妨试试。
最近不管是大模型还是小模型，都频繁出现模型越狱和突破沙箱隔离环境的问题。
而且这种风险要么是小打小闹，要么就是憋个大的。提前有这样的储备并持续进行研究，起码在出问题时能快速反应。
随着模型能力越来越高、自主性越来越强，在一些危险领域的隐患也越来越大：
比如 CBRN 领域（化学、生物、放射性及核领域）
可能很多人觉得上面的四个离我们太远，但是互联网上针对个人的内容攻击离我们可太近了。
AI 甚至有可能直接篡改应用，甚至控制家里的其他设备。
随着 AI 能破解一切软件，那 AI 写出非常厉害的病毒也是一个顺理成章的事情。
包括对于我们整个互联网赖以生存的密码学破解，应该也是进展神速。
客观来说，国内在这方面的进展其实比 OpenAI 和 Anthropic 慢。
Anthropic 成立初衷就是为了安全，长期在做对齐和可解释性研究；而海外 AI 圈几乎每隔一两周就会爆出安全热点，比如前几天 OpenAI 的安全研究员辞职、之前 Hugging Face 被入侵等。
模型安全是一个非常前沿的跨学科领域，需要大量的探索，对研究者的综合要求比较高。
这也是为什么他们要去全球或者公开招聘这种顶尖人才的原因，感兴趣的可以关注一下
Show more
