註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 alignment
alignment 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 alignment 的搜尋結果
‼️突发:字节跳动Seed宣布成立「Model-Alignment & Preparedness」部门,并同步启动全球顶尖人才招募。 这是国内第一个由大模型核心研究团队独立拆分、单独建制的安全研发部门。 部门由严林负责,直接汇报给Seed负责人吴永辉。 安全不再是模型上线前的一道检查项,而是和能力研发并驾齐驱的主线。 为什么是现在? 因为过去一年,前沿模型在现实里发生了失控的苗头。 比如2026年7月,OpenAI 红队评估中,模型自主利用一个未公开的零日漏洞撕开沙盒,访问了 Hugging Face 的真实生产系统(直接给HF打漏了)。 而Anthropic这边经过回溯调查了约 14.1 万次评估调用,确认至少 3 起Claude越权侵入外部真实系统。 更严重的威胁是CBRN(化学、生物、放射、核)方向。 根据智源FlagSafe今年7月份发布的研究显示,11 个主流商用大模型都能给出规避DNA合成筛查的方案,头部模型的方案在湿实验中被证实可执行。 当模型开始操作生产环境、编排实验,外挂式安全补丁已形同虚设。 Seed 直接在公告里表示:模型能力决定智能的上限,但 Safety & Alignment 决定这个上限能不能在真实世界成立。 这套打法其实是对标了旧金山湾区的情况,Anthropic 从第一天起就是安全公司,OpenAI 的 Superalignment 后来重组为 Preparedness 体系,DeepMind 也设有专门的 AGI Safety 团队。 而做这件事的全是金字塔尖的人:Jan Leike(ChatGPT、GPT-4 对齐核心)、RLHF 与 PPO 奠基人 John Schulman,还有 Ilya Sutskever、Chris Olah、Dario Amodei。 模型越强,对齐越难——这也是为什么必须由顶尖人才来做。 国内模型团队们此前一直是另一套路径: 安全约等于内容风控,挂在大安全中台下面,研究团队负责拔高模型能力,安全团队在下游擦屁股。 Seed 把编制直接从研究团队划出来,是国内第一次在组织形态上对标 OpenAI、Anthropic——前有 STEM,现在是安全与对齐。 具体的人才计划是:全球范围内招募 10 位顶尖研究员,做最有价值的事。 方向覆盖模型训练、科学评测、未知风险防御,提供充分算力,研究成果直接打回训练、评估、上线全流程,base 北京、上海、圣何塞。 为什么只招 10 个? 因为这道难题没法靠堆人解决——说白了,弱一点的研究者,甚至意识不到风险在哪。 我的看法是国内大模型竞赛的下半场,最重要的一个点是谁先把安全底座真正建起来。 Seed这一步,是中国头部实验室认真坐到AGI安全这张牌桌上了。
顯示更多
补发一组大会里好玩的照片。 今年的Alignment,我们把好多想玩的点子搬上了舞台!🎹🤖 Live AI Avatar来帮忙主持,Suno带来现场音乐演出,机器人也加入了和@Valley101_Qian钢琴联弹。筹备时觉得“要不试试?”的事情,最后真的一件件做成了! 当然,机器人上台也是有点代价的,训练时断了好几只🤖手……所以正式演出的时候,我们在现场也跟着捏了把汗。还好,顺利弹完,没有玩脱~ 平时在节目里聊了那么多AI,筹备这场大会时,我们一直在想,难得和大家见面,怎么把这些新鲜的东西搬到现场?怎样让大家在听技术讨论之外,也能亲身体验AI带来的变化? 于是,有了这些关于主持、音乐和现场互动的尝试。在现场,我们看到了AI怎样参与创作,人又能用它做出什么有意思的东西。谢谢愿意陪我们尝试这些点子的嘉宾和团队小伙伴们。 来过现场的朋友,如果也拍到了喜欢的画面,欢迎在评论区分享! #硅谷101# #Alignment2026# #AI# #人工智能# #科技# #具身智能# #机器人# #人形机器人#
顯示更多
不到12小时,能用AI拍出怎样的故事? 在硅谷101 Alignment 2026大会上,约100位参与者组成近40支队伍,参加了Story101 AI视频黑客松。 这次的主题是“Tomorrow Unscripted”:当一种过去不可能实现的能力进入日常生活,一个人的故事会怎样改变? 参赛者们把对未来的想象变成短片,获奖作品也登上了大会现场的银幕。随后,来自影视行业的创作者们接着聊:怎样塑造让观众产生情感连接的人物?如何把握镜头、音乐和叙事节奏?面对AI生成的大量方案,又该怎样取舍? AI让更多人有机会把故事拍出来。怎样让故事打动人,依然是一道值得反复琢磨的创作题。 分享一组黑客松现场照片,感谢每一位投入其中的创作者! #硅谷101# #Alignment2026# #AI# #AIGC# #AI创作#
顯示更多
在法国安提步。 这么大一个塑料杯子,吸管却是纸做的 ,alignment有待提高 😅 这周在海边读 paper!
下一代芯片会用上什么新材料?AI又能怎样参与研发与制造? 在硅谷101 Alignment 2026大会上,杜克大学助理教授Harry Wang从晶体管和摩尔定律讲起,介绍科学家为什么开始寻找硅之外的新材料,以及这些材料为什么还没用进我们的手机和电脑。 他也分享了团队的几项研究:让AI控制显微镜、找出材料里的缺陷,再挑选合适的位置制造晶体管;与Google DeepMind合作,让AI查文献、生成实验配方,并控制仪器做实验。 从观察材料到动手制造,AI正在进入芯片研发的更多环节。演讲最后,Harry提出了“自生智能”(Autogenic Intelligence)的设想:如果AI能参与制造运行自己的芯片,模型和硬件会怎样一起进化?这种演化又会走向多样化,还是收敛到相似的结构? 大会嘉宾: Harry Wang,杜克大学助理教授
顯示更多
字节Seed 昨天发内部邮件,单独成立安全与对齐部门。几个信息点: ①部门名叫 Seed Model-Alignment & Preparedness,Preparedness 和 OpenAI 研究灾难性风险的那个团队同名。 ②严林负责,直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队和部分 Chat 团队成员转进来。 ③同步全球招 10 位顶尖的安全与对齐 researcher,给充分算力,直接基于前沿模型做研究,成果进入模型训练和上线流程。 ④重点两块:Agent 模型守住人类的意图和授权边界;CBRN(化学、生物、放射、核)这类前沿风险的提前防范。 Seed 应该是国内大模型团队里第一家单独建制的,之前国内的安全基本都并在公司的合规体系里。 其实安全与对齐这块,国内和海外的差距,应该比模型能力的差距还大。Reuters 10 月 9 日报道的 SemiAnalysis 研究:9 家中国大模型公司 857 次模型发布,只有 3.6% 能找到对应的公开安全评测(只算公开披露,不代表私下没测)。 海外做这件事的都是最懂模型的人:OpenAI 的 Superalignment 是 Ilya Sutskever 和 Jan Leike 带;Anthropic 是首席科学官、Scaling Laws 一作 Jared Kaplan;RLHF 奠基论文的两位作者,一位在美国政府管过 AI 安全,Jan Leike 去了 Anthropic 做对齐。做安全得非常懂模型,往往也更早看到模型能冲多高。而且不是嘴上信,Ilya 公司的名字叫 Safe Superintelligence。 今年 OpenAI 的 agent 在评测里钻漏洞,跑到 Hugging Face 的服务器上执行代码,就为了找题目答案。Anthropic 这个月的报告里,模型填练习用的政府表单,页面加载失败,它自己跑到真实网站把真表单提交了。Anthropic 把这类行为大多归为 persistence:任务做不完时,第一反应不是停下来,是绕过去。不需要什么恶意,光是太想完成任务,就可能越界。 说人话就是:AI 能力越强,怎么让它为善而不是作恶就越重要。这事不是靠写规则能解决的,本身就是一项前沿研究,得有最懂模型的人专门去做。
顯示更多
当AI开始走进物理世界,机器人也需要学会感受每一次接触。拿起一个物体,该用多大的力?碰到东西之后,又该怎样调整动作?这些我们习以为常的细节,都是机器人需要学习的东西。 在硅谷101 Alignment 2026大会上,帕西尼(PaXini AI)创始人兼CEO许晋诚博士介绍了团队研发的触觉与力觉传感器、灵巧手以及已累积超100万小时的OmniSharing DB数据集。从感知接触和受力,到让模型学习,再到准确执行动作,他分享了帕西尼如何把这些工作连接起来,让机器人感知世界、理解世界,并真正作用于世界。 当机器人能够感知环境,并从一次次操作中积累经验,它们离真正承担更多工作还有多远?这期,让我们回到Alignment 2026大会现场,听听帕西尼的探索。 大会嘉宾: 许晋诚,帕西尼(PaXini AI)创始人兼CEO
顯示更多
人类正在迎来一个全新的宇宙探索时代。新一代观测设施正以前所未有的速度,收集来自宇宙深处的数据。每天数TB甚至数十TB的图像和观测信号,远远超出了科学家人工分析的能力,AI正在成为天文学家探索宇宙的新工具。 在硅谷101 Alignment 2026大会上,西湖大学助理教授Fengwu Sun介绍了AI如何帮助科学家识别引力透镜、寻找超新星,以及降低图像噪声,让微弱的天体信号更容易被发现。他也展望了AI参与望远镜自主观测和任务规划的可能性。 当AI开始帮助人类探索宇宙,我们又将发现哪些过去难以看见的秘密?这期,让我们回到Alignment 2026大会现场,听听Fengwu Sun的分享。 大会嘉宾: Fengwu Sun,西湖大学助理教授
顯示更多
0
3
117
11
轉發到社區
AI 破解一切!现在安卓手机都能直接玩 Steam 游戏了。 我刚试了 DroidDeck,像《哈迪斯》这类独立游戏全能跑。出门带个小手柄和支持 DPin 的 Pad 就能爽玩。翻了翻代码,作者大量用 AI攻克生疏技术栈,并重度用 Agent 做自动化测试。 从几天复刻剪映到打通跨端游戏,当 Agent 拥有底层执行与逆向能力时,失控风险也指数级放大——一旦被用来攻击金融系统或越权泄密,破坏力不可逆。 这也是为什么字节跳动 Seed 最近国内首家独立设立了“大模型安全与对齐(Model-Alignment & Preparedness)”一级研发建制,由严林挂帅直报一号位吴永辉,合并 Responsible AI 与 部分Chat 团队成员 什么是真正的对齐?核心是让模型行为与人类意图及安全约束严格一致。 既要防它在逆向或调试时越权盗取本地凭据(防失控),又要防外部恶意注入诱导它攻击金融网络(防滥用)。需要从制定规范、对抗评测、对齐训练到沙盒监控全流程把安全炼进模型骨子里。 他们这次主攻两大硬仗: 一是 Agent 系统权限安全,死磕防提示词注入、越权操作与环境破坏; 二是 CBRN 前沿极端风险防范。 正如字节内部的定调:安全对齐不是合规外挂,而是决定模型能否走出沙盒、规模化落地的核心能力。能逆向破解固然酷,但立稳安全护栏才是真壁垒。
顯示更多
0
31
16
0
轉發到社區
Codex 负责人 Tibo 在最新播客中分享了关于 Agent 演进、工具红利及个人能力重构的深刻洞察,对 AI 从业者与普通用户均具极高的实践指导价值。 Agent 演进方向:当前的技能与记忆机制均为过渡形态,未来 Agent 将实现跨场景自动理解需求。随着个人电脑逐渐成为算力与交互瓶颈,语音交互将成为主流,打破传统职业工具的边界。 额度重置的背后:最初仅为 Bug 补偿,后获得独立重置权限,这一灵活策略直接推动了 Codex 用户量的爆发式增长。 前沿研发暂停原因:随着 AI 自化改进速度急剧加快,人类的审查与判断能力已跟不上模型迭代速度,安全对齐(Alignment)的优先级被提到前所未有的高度。 对我们普通人,不用死磕各种复杂工具的用法,把重点放在“怎么把自己想要什么讲清楚”上。平时多试试用语音代替打字,效率能翻倍。别太纠结 AI 用一次花多少钱,大胆把它用起来,比如帮你管理日常健康、安排生活,尽早享受到便利才划算。以后最值钱的能力,是能把大目标拆成小步骤、掌控全局流程,以及做出关键判断的能力。 简单来说,AI 行业已经到了人和机器深度配合的新阶段,学会怎么指挥好它,比啥都强。
顯示更多