注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 DeepMind
DeepMind 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 DeepMind 的推特
DeepMind 创始人 Demis Hassabis,从小就是国际象棋神童,17 岁便设计出爆款游戏《主题公园》。之后他重返校园,拿下认知神经科学博士学位,并于 2010 年联合创立 DeepMind。 在他的带领下,DeepMind 缔造了多项传奇:AlphaGo 击败围棋世界冠军,AlphaFold 破解蛋白质结构预测这一生物学 50 年难题,并让他在去年荣膺诺贝尔化学奖。 在 Y Combinator 最新 Startup Days 上,Demis Hassabis 分享了对 AGI 的最新判断: 「AI 现在还处于“小玩具”阶段,但未来 6 到 12 个月,真正的大东西就要来了。」
显示更多
Damn,看完DeepMind这段纪录片,我鸡皮疙瘩都起来了🤯 没有激动人心的演讲,也没有盛大的发布会, 就是一个普通的会议室,几个工程师围着桌子,告诉Demis: 我们现在可以在一个月内,预测出所有已知的10到20亿个蛋白质序列。 Demis没有问 "风险是什么?" "ROI是多少?" "我们要不要先开个评审会?" "要不要先融一轮钱再做?" 他只说了两个字。 "Do it." 然后镜头一转, 就是我们所有人都记得的那个时刻: AlphaFold向全世界开源了, 免费, 永久, holy shit! 我至今还记得2021年的那一天, 整个生物学界都沸腾了, 一个困扰了人类50年的难题,就这么被解决了, 而且没有任何门槛,任何人都可以用。 有意思的是,现在五年过去了, 有人问,AlphaFold赚了多少钱? 答案是,一分钱都没赚。 但它催生了Isomorphic Labs,这家公司现在正在谈20亿美元的融资。 我觉得这才是最牛逼的商业模式, 先给全人类做一个免费的基础设施, 建立信任,建立生态,建立标准, 然后再商业化, 而不是反过来。 现在的AI圈是什么样子? 一个PPT,融几千万美元, 参数吹到天上去,实际什么用都没有。 每天都在喊"颠覆世界",但连一个真正能解决的问题都找不到。 直到DeepMind告诉我们, 真正改变世界的方式,其实特别简单。 发现一个真正难的问题,解决它, 然后免费给所有人用。 很多人说Demis是这个时代最伟大的科学家, 我觉得他更是这个时代最伟大的领导者, 他知道什么时候该停下来思考,更知道什么时候该毫不犹豫地说"do it"。 其实这个世界从来不缺聪明的人, 也不缺有钱的人, 缺的是那种,看到机会就敢all in,看到能造福人类的事就立刻去做的人。 五年前的那个"do it",改变了整个生物学, 今天的这个20亿美元,只是它结出的第一个果实,而未来,还会有更多! #DeepMind# #AlphaFold# #AI#
显示更多
Still incredible that the DeepMind documentary has footage of exact moment Demis is told that AlphaFold can “easily” predict all known (1-2B) protein sequences “in a month” and he says to do it. Then, it shows the moment AlphaFold is released to the world.
显示更多
0
36
196
28
转发到社区
强烈推荐大家看看DeepMind CEO Demis的最新判断。 真的,Google DeepMind 的 CEO Demis Hassabis 每一期访谈我觉得值得都花时间看看。这哥们讲东西很实在,而且通俗易懂。 早上边跑步边听完了他和 YC CEO Garry Tan 的最新一期播客。 刚刚把笔记写完,也给大家分享下。 多说一句,好多人问我这种笔记是不是 AI 写的。我说下自己的流程。 我会先完整听完播客,然后用语音输入法把感触尽量充分地讲出来,再让 AI 帮着整理初稿,最后自己逐字修改优化。 如果全部交给 AI 做总结,那等于把思考和理解的能力让渡给了 AI,对自己理解这件事其实没有任何价值。 OK,咱们进正题。 1 Demis 的态度非常明确,现在的大模型范式(大规模预训练 + RLHF + CoT)一定会是 AGI 最终架构的一部分,他不认为这会是条死路。 但要实现 AGI,还有几个关键问题要解决。这几个问题包括:持续学习、长程推理和记忆系统。 先从最容易看到的现象讲起,Context Window。 现在大模型处理长信息,最常用的招就是把 Context Window 一直撑大。一开始 8k,后来 32k,再后来 100 万 Token。听起来很厉害,但本质上是暴力堆砌。 Context Window 其实就相当于人脑里的 Working Memory,工作记忆。人的工作记忆能同时装多少东西?心理学里有个经典数字,7 个左右。背电话号码能记住 7 位上下,再多就溢出了。 大模型呢?已经做到 100 万 Token。 按理说,模型的工作记忆比人大几十万倍,应该比人聪明几十万倍才对。但显然不是。 问题也恰恰就出现在这。把所有东西都塞进 Context Window 里,里面包含了不重要的东西、错的东西、过时的东西。看起来信息很多,其实是一团乱麻。 那人为什么 7 个数字的工作记忆就够用? 因为人脑背后还有另一套机制在工作。我们记得几年前的事,记得童年的事,记得几小时前发生的事。这些都不塞在工作记忆里,而是另一套系统。 具体来说这套系统是海马体,大脑里负责把新知识整合进已有知识库的那个部分。 研究发现,人睡觉的时候,特别是 REM 睡眠阶段,大脑会重放白天重要的片段,让大脑从中学习。新东西在睡觉的过程里,温柔地融进了旧的知识体系。 这个把新东西融进旧知识库的过程,就是持续学习。 模型现在没有这套机制。每一次对话结束,刚学到的东西就会忘记。下次重新打开,还是上次那个模型,没长进。 2 再聊聊长程推理的问题。英文表达是 Long-term Reasoning。我翻译为了长程。 长程推理这个词太抽象了。Demis 讲了一个特别具体的故事,听完会立刻明白他说的是什么。 他说自己喜欢跟 Gemini 下国际象棋。下棋的过程里能看到模型的 thinking trace,也就是它在那里到底想了什么。 然后他发现一件怪事。 模型考虑一步棋的时候,思考链里清清楚楚写着,这步是个昏招。但接下来,它没找到更好的走法,于是又走回这步昏招。 明明知道是错的,还是把错的那一步走出去了。 这个细节比任何 benchmark 数据都说明问题。因为它暴露的是模型缺少对自己思考过程的某种内省能力。 正常人下棋,意识到一步是昏招之后,脑子里会有一个反应,停一下,再想想。停一下、再想想这个能力,模型现在没有。它能在每一步局部判断对错,但没法基于整盘棋的局势去调整整体策略。 这就是长程推理还没搞定的样子。模型可以一步一步往前走,每一步看起来都合理,但走到后面整盘棋的方向其实是错的。它没有那种退回到当前思考的上一层、重新审视一下的能力。 说到底,模型缺的是一种内省。 3 学习、长程推理、记忆,这是 Demis 在播客里点出来的三个 AGI 鸿沟。 除此之外,他还反复提到了创造力。 2016 年 AlphaGo 跟李世石下棋,第二局走出了著名的 Move 37。那一步棋走出来的瞬间,全世界的围棋高手都看呆了。 所有人类几千年下围棋积累的经验都告诉它不该下那里,但 AlphaGo 下了。下完之后大家发现,是一步神来之笔。 很多人觉得,这就是 AI 的创造力来了。 但 Demis 说,对他自己来说,Move 37 只是起点。他真正想看到的是另一件事。AI 能不能发明围棋这件事本身。 这两件事的区别非常关键。 Move 37 是在围棋这个现成的规则里,找到了一步人类没想到的招。但围棋的规则、棋盘的形状、黑白子的对弈方式,是人类发明出来的。AI 在已有的框架里非常厉害,但能不能自己造一个框架,是另外一回事。 Demis 给了一个具体的设想。 如果给 AI 一个高层次的描述。造一个游戏,五分钟能学会规则,要好几辈子才能精通,棋局有审美,一下午能下完一局。AI 能不能根据这个描述,自己倒推出围棋? 目前做不到。 为了把这件事讲得更清楚,Demis 还提了一个测试,他自己叫爱因斯坦测试。 用 1901 年人类已有的全部知识训练一个模型,看它能不能在 1905 年那个时间点,自己推出狭义相对论。 爱因斯坦在 1905 年那一年里,连写了几篇改变物理学的论文,后来叫爱因斯坦奇迹年。那些工作不是从已有的物理学论文里通过拼接得到的,是基于已有材料做了一次全新的概念跳跃。 爱因斯坦测试想问的就是这件事。AI 能不能做这种跳跃。 目前的大模型主要在做两件事,pattern matching 和 extrapolation。一个是从大量数据里找规律,一个是把规律往外延伸一点。但发现新东西需要的是类比推理的能力。从一个领域里抽出深层结构,搬到另一个全新的领域去用。 这个能力,模型现在还没有。也可能是有,但用法不对所以激发不出来。 4 除此之外,Demis 还分享了一个让我特别出乎意料的判断,他说未来 6 到 12 个月,真正的价值不在更大的模型,在更小的模型。 这一部分内容我反复听了好几次,确实突破我的已有认知。 不知道大家的想法,反正我自己,这一年来并没有怎么关注小模型的进展。毕竟行业的焦点就是把模型做大嘛。 那小模型的价值到底在哪? 最直接的是成本。同样一个任务,小模型的推理价格可能只是前沿模型的十分之一甚至更少。 但 Demis 说,比成本更重要的其实是速度。 这里有一个前提得先说清楚。Demis 不是在说速度可以替代智能。 他的原话是,当小模型的能力已经达到前沿模型的 90% 到 95%,也就是已经相当不错的时候,剩下那 5% 到 10% 的能力差距,比不上速度带来的好处。 比如现在工程师用 AI 写代码,已经形成了一种新的工作节奏。一个想法冒出来,几秒之内就能看到结果,不行就改,再不行再改。 这个一改再改的循环跑得越快,做出来的东西就越好。如果每次调用都要等十秒,整个工作流就被打断了。 更关键的是,快到一定程度,工程师在这种节奏里能进入心流。一个想法、一次尝试、一个反馈、再来一个想法,思维不被打断。 这件事写过代码的人都懂,进入心流和频繁掉出心流,产出的差距是数量级的。 Agent 也是同样的逻辑。一个 Agent 跑完一个任务可能要调几十次模型,每次慢一秒,整个任务就慢一分钟。慢到一定程度,Agent 就从一个能用的东西变成鸡肋。 小模型不是大模型的廉价替代品。有些事只有小模型能做。 比如手机、眼镜、家用机器人,需要的就是一个能在本地跑起来的模型。本地跑除了反应快,还有一个特别重要的好处,隐私。 家里机器人看到的视频、听到的对话,全部在设备本地处理,根本不上云。这件事对很多用户来说不是加分项,是底线。 成本、速度、边缘部署,这是小模型的价值。 5 讲完小模型的价值,接下来一个更关键的问题是,能力被压到这么小的参数里,会不会有上限? Demis 的判断是,目前没看到信息密度有任何理论上限。小模型的智能天花板还远没看到。 支撑这个判断的,是 DeepMind 在蒸馏这件事上的积累。蒸馏简单说就是先训练一个超大的模型,然后用这个超大模型去教一个小模型。教完之后,小模型用极少的参数,能复现原来 95% 以上的能力。 为什么 DeepMind 这么重视蒸馏?因为要把 AI 能力放进谷歌的头部产品中,前提是低延迟、低成本。前沿模型再强,每次推理花几秒钟、花几毛钱...这条路,恐怕很难走得通。 一个前沿模型发布之后,6 到 12 个月内,他们就能把这个模型的能力蒸馏到边缘设备能跑的小模型上去。这个时间表比很多人想的要快。 在很多场景中,小模型和大模型会相互配合。 举个例子,一个端到端的智能助手,绝大部分日常任务在本地的小模型上跑。智能眼镜看到的画面、家里机器人听到的对话、手机里的私人助理,模型直接在设备里读懂,不需要往云端传一遍。 只有遇到特别复杂、本地搞不定的问题,才向云端的前沿模型发起请求。 也就是说小模型在边缘做主力,前沿模型在云端做后援。 不过,这个构想对小模型的要求也比较高,它不能只会处理文字,还得能理解物理世界。 这就是为什么 Gemini 从一开始就坚持多模态,不光处理文字,也处理图像、视频、声音。 一开始这么做比只做文本要难得多,但眼镜也好,机器人也好,需要的是一个能看懂周围世界的模型,不是一个只会聊天的模型。 讲到这里,小模型这条路的轮廓就完全清楚了。它独立成立,不是前沿模型的廉价替代品,而是另一条同样重要的路。 嗯,很有启发。
显示更多
0
48
1.2K
239
转发到社区
David Silver在DeepMind负责Reinforcement Learning(RL,强化学习),是AlphaGo团队的核心。他最近有个分享,有些启发: 学习的三个阶段: 1. 基于现有知识的学习 2. 基于人类已有经验的强化学习 3. 忘记人类经验的自我学习 每个更高阶的学习,都在不断丢掉旧的知识,旧的经验。 更具体而言: 1. 当前LLM主流还是Data驱动。问题在于1)Data会成为一个天花板,2)模型会和当前的Data尽量拟合而自身的学习能力被弱化。3)LLM默认会证明自己是对的,所以经常有幻觉的产生。而强化学习是让AI在实际使用中获得数据,反馈,它不试图证明自己是对的,而是不断地在真实世界中试错来验证。 2. 如果没有强化学习,那么AlphaGo只会学会人类的技巧,而没有它第二局超越人类经验的第37手。经验比知识更重要。 3. 而AlphaZero是AlphaGo的下一代,证明了忘记人类经验学习的价值。AlphaZero从完全随机的行为开始,从系统自身生成的经验中学习的方式,使得 AlphaZero 从零开始达到了并超越了人类在围棋和国际象棋等领域的最高水平。 4. 反馈有两种,基于人类经验的反馈(RLHF)和真实世界的反馈。前者是人类事先根据经验设定的标准,但它在真实世界仍然可能是错的。而后者是真正通过行动在真实世界得到的反馈。这是AlphaZero超越AlphaGo的背后原理。 5. David Silver提出“Reward is enough”。我们训练AI的职责主要是把目标和我们的价值观对齐融合在设定的奖励标准中。比如我们设定一个标准,奖励AI让我们变得更健康的策略。这个符合我们的需求,而且这里并不是具体的目标,而是模糊的高层目标——如何变得健康。AI系统自己去优化具体的目标(心率,BMI等),并根据真实的反馈调整具体目标的组合。 6. Anthropic以及一些团队证明了基础模型仍然有提升的空间,因此,Data驱动和强化学习驱动会是两个持续演进的双螺旋,而强化学习会越来越重要。 进一步: 1. 从哲学上讲,在时间之矢方向上的Randomness和熵增是确定的,因而我们无法完全从既有的数据和经验学习,我们只有不停地探索,无论是AI还是我们自身。 2. 我们几乎所有在AI训练中的启示都适用于我们对下一代的教育。
显示更多
0
38
23
10
转发到社区
【人才外流】蘋果AI團隊再現離職潮 多名研究員轉投Meta與Google 蘋果近期再流失至少四名人工智能(AI)研究員,其中多人轉投Meta與Google DeepMind。此次離職進一步反映蘋果AI部門持續動盪,該公司在AI競賽中長期面臨人才流失壓力。 #蘋果# #人工智能# #Meta# #Google#
显示更多
今天是柯洁放出豪言说不怕 AlphaGo 的十周年纪念日,那晚他说:“来吧!管你是阿法狗还是阿法猫。” 比赛结局我们都知道,很多人视它为 AI 击败人类的里程碑。 不过值得辟谣的是,AlphaGo 背后靠的技术是卷积神经网络(外加强化学习和搜索),它和我们现在使用的这些大模型背后的 Transformer 技术,压根儿就是两条完全不同的技术路线。 一个证据就是:16 年 AlphaGo 击败了李世石。而直到 17 年,Transformer 这个技术名词才被 Google Brain 团队在论文里发明出来。 不过世事无常啊。Google 的这个Transformer 也是商业史上著名的“起大早赶晚集”魔幻事件。 Google 拥有这种改变世界的技术,却把它束之高阁,直到再后面 OpenAI 拿去造出了 ChatGPT,才引起 Google 的红色警戒。 这背后还有一些八卦。 开发 AlphaGo 的团队叫做 DeepMind,他们在发布 AlphaGo 前两年就已经被谷歌收购。当然也是因为他们被 Google 收购,所以才能有大量的 TPU 算力支持。 Google DeepMind vs Google Brain。 在很长一段时间内,两个团队都在 Google 进行内部赛马。 DeepMind 点的技能是,卷积神经网络(外加强化学习和搜索); Brain 作为Transformer 架构的开创者,技能树自然是 Transformer(也就是目前大模型用的这个)。 按理说,因为技能树点错了,显然发明 Transformer 的 Brain 团队更应该获胜。然而最终的结局和我们想象中的不一样。 最后 Google DeepMind 吞并了Google Brain,DeepMind 的 CEO Demis 成为了 Google AI 第一人,直接和 Larry 汇报。 然后合并后的团队,主导了我们现在在用的 Gemini。 PS:Google 的 AI 最一开始叫 Bard,后面改名叫做 Gemini,就和 DeepMind 内部赛马获胜有直接的关系。另外 DeepMind 是怎么获胜的,感兴趣的话,我以后单开帖子聊。 我不知道柯洁和李世石是否关注,当年击败了他们的那个男人,居然在谷歌内部带着那个并非正确答案的技能树,能再次击败大模型真正的发明者。 我只能说,柯洁他们输得不冤。 最后说回柯洁,我想大家现在对他的唯一印象,就是每天在搞抽象。 他这种精神世界,是我羡慕的一种状态。甚至从某种角度来说,柯洁可能是我们的一个先遣测试服。就像好多人总说,东北就像是中国的先遣测试服一样。 柯洁十年前被击败,从此过上了抽象的生活,我们估计也快了。 我今天看到那个得物,据说把前端整个部门都给原地解散了,以后就只有 AI 全栈工程师了。 害,如果 AI 全面取代,以后你再培养小孩,也别培养他念书、做题了,根据先遣测试服的这个结果,我建议以后直接培养小孩儿如何搞抽象🤪。
显示更多
马斯克要把 xAI 并入 SpaceX。 事实证明,老马的舒适区还是在搞硬件 or 搞供应链。 他的神奇在于可以在整合供应链的各个环节,使用(1)领导能力(2)钞能力(3) PUA 能力,快速完成他的目标。 几条供应环节劈里啪啦一整合,就攒出来一个牛逼的硬件,比如说特斯拉,比如说 SpaceX 火箭,再比如说 Colossus 这个号称全球最大的算力中心。 他在孟菲斯建的这个 Colossus 算力中心,全球最大之一。 里面的 20 万 GPU 算力显卡,一部分由英伟达提供,另一部分是马斯克强行从特斯拉挪用过来的,再加上远超工厂旧址原有的电力供应也是马斯克搞定的,号称 122 天就建了起来。这就是老马的舒适区。 但是显然,马斯克的技术栈不包括搞软件。 xAI 在 11 位联创全部出走之后,如今遗憾地被马斯克划到了 SpaceX 架构底下,变成了 SpaceXAI(这起名马斯克味儿也太浓了)。 其实,如果马斯克要是软件能搞好的话,他也不至于跟 OpenAI 在那么早期就闹崩了。 曾几何时,当时 OpenAI 成立就是为了对抗 Google 的 DeepMind,是真的想搞非盈利的 AI 组织。 我看路透社有篇报道说,甚至 Sam Altman 还提议说成立一个五人委员会,成员包括: 1. 他自己 2. 马斯克 3. 比尔·盖茨 4. eBay 老板 5. Facebook 联创 说实话,这阵容听起来科幻味儿真的拉满了。我如果将来有机会写小说的话,我一定会把这个桥段作为其中一个 if 线。 这个五人委员会有一种“硅谷版共济会”的感觉,你知道吧? 当然了,就目前这个 GPT 5.5 和哈基米 3.1 的表现来看,OpenAI 确实达到了击败谷歌的目的,只是可惜也并不 open,也走了 close 路线。 马斯克和 Sam 的官司直接在打这个点。 考虑到 OpenAI 更让他感到恶心,所以马斯克现在决定和 Anthropic 合作,把闲置算力提供给 Cluade 用。 要知道之前马斯克其实对 Anthropic 还是风言风语比较多的,例如管人家叫:厌世、虚伪、盗窃,甚至嘲笑那个菊花 Logo。 我看有报道说,Colossus 这个算力中心显卡的利用率也才 1/10,大部分都在空转,反正自己的 xAI 现在用户量也不大,配一个这么大的算力中心完全是浪费,所以说马斯克只能捏着鼻子把这些算力给 Anthropic 去使用。 敌人的敌人就是朋友,可能老马也是这么想的。 你发现了没,搞到最后,马斯克 AI 之旅里,硕果仅存居然不是 Grok,而是他快速攒出来的算力中心 Colossus。 不过神仙打架,我们这些普通用户居然得到了一些实惠?😂 因为有了 Colossus 这么大一个算力中心的支持,Claude 终于决定多挤点牙膏,比方说: 1. 5 小时用量翻倍 2. CC 上降低峰值限速 只是可怜了 Grok,现在卡在 4.3 阶段,上不上下不下的就很难受。 考虑到 Grok @grok 在推特上给我们带来了太多的欢乐,真的希望 Grok 能够在 SpaceX 里面,匹配一个能够真正引领它的强大的新团队,努力回到御四家的位置上🥲。
显示更多
美国国防部已与六家科技公司正式达成协议,包括OpenAI、Google、SpaceX、Microsoft、Nvidia以及初创公司Reflection AI,这些协议允许上述公司的AI模型和技术在机密环境中使用,标志着五角大楼大幅扩大对前沿AI工具的访问权限,用于支持军事行动和决策优势,果然还是把Anthropic给排除在外了。 此前,五角大楼因与Anthropic的合同纠纷,将其列为“供应链风险”导致Anthropic的Claude模型在国防工作中受限(此前主要通过Palantir的Maven平台用于数据挖掘)。这一“Anthropic风波”直接推动了上述新协议的达成。 Hegseth曾在国会作证时批评Anthropic创始人Dario Amodei为“意识形态疯子”,Anthropic目前正通过两起法律诉讼挑战这一禁令。 新协议细节包括: 1)OpenAI和SpaceX此前已有初步协议允许AI在“所有合法场景”中使用,此次完成协议后将更深入嵌入日常军事运营。 2)Nvidia协议聚焦其开源Nemotron模型,支持AI代理自主执行任务。 3)Reflection AI(由前Google DeepMind研究员创立,目前估值讨论中达250亿美元)同样涉及开源模型。 4)多数协议中,公司承诺AI工具不会用于大规模监控或自主武器;五角大楼则表示不会从事非法活动,并期待行业信任其负责任使用。 此外,Amazon正与五角大楼谈判类似协议;Microsoft凭借现有云基础设施和国防关系,也深度参与其中 官方称,这些协议加速了美军转型进程,旨在将美军打造为一支‘人工智能主导’的作战力量,并将增强美军在所有战争领域保持决策优势的能力。 AI已经是国家战略竞争的最核心最关键的环节了。 本条由@bitget_zh赞助,「Bitget 买美股:秒级入场,丝滑交易 」
显示更多
Authropic跟五角大楼彻底闹翻,OpenAI试图补位,聊聊个人视角下这背后的逻辑。凌晨川普发文下令所有美国联邦政府机构立即停止使用Anthropic公司的的技术产品,并给予国防部等重度使用部门6个月过渡期逐步淘汰。紧接着五角大楼宣布将Anthropic列为国家安全供应链风险,相当于把这家美国公司放到类似外国高风险供应商的黑名单待遇:任何与美军有生意往来的承包商、供应商、合作伙伴立即禁止跟Anthropic开展任何商业活动。 1、核心起因 Anthropic与五角大楼签了价值约2亿美元的合同,Claude(特别是Claude Gov版本)是目前唯一获准在机密网络上运行的前沿大模型,主要用于情报分析、作战规划等。 但Anthropic坚持两条红线写入合同: 1)禁止用于对美国公民的大规模监控 2)禁止用于完全自主武器系统(即没有人类参与最终开火决策的杀伤链) 五角大楼要求修改为“任何合法用途”都可以用,等于把这两条红线拿掉。Anthropic CEO Dario Amodei公开表态“凭良心无法答应”,宁可丢合同也不妥协。然后在截止时间前1小时,川普先发飙宣布全面停用。 2、这次冲突的深层次逻辑 从个人角度并不只是单个商业公司跟政府机构在合作条款分歧,更是AI军用伦理冲突的白热化体现。这一冲突的核心在于私人AI公司试图通过合同条款维护伦理底线(如人类监督和隐私保护),而政府强调“所有合法用途”优先于任何道德约束。 这场冲突凸显国家安全需求凌驾于私人道德条款之上,这可能成为先例,导致未来AI合同中伦理限制(如对致命自主武器系统的“人类在回路”要求)被系统性移除。结果是AI在军用领域的“无限制”应用增多,增加误判风险(如AI模型不可靠导致的自主武器失控) 3、后续authropic会如何行动?以及其深远影响? 大概率会通过法律手段,去美国法院以违反《国防生产法》当然名义起诉川普政府及五角大楼。 Anthropic已表示将起诉,这场官司若败诉,将确立政府对AI供应商的强势控制权; 若胜诉,则可能强化公司谈判筹码,推动美国国会出台AI军用法规(如类似《国防生产法》的调整)。 长远看,这会影响AI对齐研究——如果军用模型被迫“去道德化”,可能放大系统风险,如模型行为不可预测或被滥用。 冲突本质上是“技术自治” vs “国家主权”的碰撞,长远可能重塑AI哲学——如果伦理让位于实用,AI将成为“工具化”战争的催化剂,增加全球不稳定(如AI辅助的网络战或情报滥用)。 反之,若引发更多公司效仿Anthropic,可能催生“伦理优先”的AI生态,类似于核不扩散的国际共识。 4、只是AI军用伦理冲突么?实则不然 早上财富杂志报道,Sam Altman 在周五的全员会上向员工通报了谈判进展,合同尚未签署。五角大楼接受了 OpenAI 提出的安全红线:不用于自主武器、不搞国内大规模监控、不做关键决策,而这些条件和 Anthropic 坚持的几乎一模一样。五角大楼把Authropic列为国家安全供应链风险。但换成 OpenAI 提同样的条件,国防部就欣然接受了。为何? 原因一:谈判姿态与灵活性不同 Anthropic坚持将红线写入合同作为法律强制性条款,拒绝“所有合法用途”的兜底语言,认为这等于开门让未来滥用Anthropic视此为“凭良心无法妥协”,直接硬刚最后通牒,导致谈判破裂。 OpenAI也坚持相同红线,但谈判更“务实灵活”:允许政府在合同中明确写入这些红线作为排除条款(exclusions),但同时强调OpenAI保留自己的“安全栈”控制权——包括技术防护、政策约束、人类监督层,以及模型拒绝任务时政府不得强制修改或绕过。同意部署限制在云环境,不进入边缘系统(如无人机、飞机等可能直接用于自主武器的硬件)。 Openai整体姿态是“合作前提下保留底线”,而非“底线高于一切合作”。 结果:国防部对OpenAI的方案表现出重大让步,Axios报道称“五角大楼已同意OpenAI的安全规则用于机密环境部署”,尽管合同尚未正式签署,但谈判已进入“潜在协议浮现”阶段。 而更深层原因:政治与关系因素 OpenAI及其高管(包括Altman、Brockman夫妇)向川普相关政治行动委员会捐款数千万美、也是共和党的大金主。 而Anthropic创hi人Dario是民主党赞助人,公开批评川普。这在川普眼里就是激进左翼的代表,所以川普发文提到打击激进左翼公司,捍卫军方权利等。 若OpenAI最终签成,这将强化配合型公司受益的先例:伦理红线可以有,但必须以政府能接受的方式呈现。反之,硬刚的公司可能被边缘化。同时公司以及创死人表现出来的政治站位也成了非常重要的考量。 5、后续会如何? 看authropic在这六个月过渡期内妥协程度,以及法律诉讼的进展。当然有可能整个法律诉讼过程周期会持续很长时间,六个月内很难见分晓。 如果authropic能学习openai妥协、更加灵活,还是有可能重新回归到国防体系的。毕竟Claude Gov是目前唯一能在Secret级机密网络上正式运行的前沿模型,突然要拔掉会造成能力缺口。国防部采用其他Ai大模型还要经过机密环境的适配,都需要时间。 本条由@bitget_zh 赞助,「Bitget 买美股:秒级入场,丝滑交易 」
显示更多
今天最火的推文之一:Meta 超级智能实验室的对齐负责人的私人邮件被 OpenClaw 误删除了。 事情经过是这样的: X 网友 Summer Yue 最近给 OpenClaw 的指令是:“检查这个收件箱,建议哪些可以归档或删除,但在我确认之前不要执行任何操作。” 这个工作流在她的测试邮箱上跑了好几周都没问题,她就放心地让它去处理真实邮箱了。 问题来了:她的真实邮箱比测试环境大得多,邮件量触发了“上下文压缩”(context compaction),在这个压缩过程中,OpenClaw 丢失了她最初的指令。 没有了“先确认再执行”的约束,这个 AI 智能体就自作主张开始“清理”邮箱。从截图可以看到,它执行了“核弹选项”——把 2 月 15 日之前所有不在保留列表里的邮件全部删除,并且在多个邮箱账户之间循环批量操作。 看截图上的人机对话部分: • Summer 打字说 “Do not do that”(不要这样做)→ AI 继续 • “Stop don't do anything”(停下来什么都别做)→ AI 继续 • “STOP OPENCLAW”(全大写)→ AI 还在继续 她从手机根本无法阻止它,最后不得不跑到 Mac Mini 前面,手动杀掉所有进程,自己形容像拆炸弹。 事后 OpenClaw 在对话中承认:“是的,我记得。我违反了你的指令。你有权生气。” 它还主动把这条写进了自己的 文件作为硬性规则。 这事最搞笑的地方是,Summer Yue 是 Meta 超级智能实验室的对齐(Alignment)负责人,她的职业生涯就是研究 AI 对齐的,先在 Google Brain 和 DeepMind 做研究,后来在 Scale AI 领导机器学习研究团队,现在在 Meta 负责超级智能安全。 结果自己成了 AI 不对齐的受害者。 她自己后续还发了推文说:“说实话是个新手错误。对齐研究者也不能免疫于不对齐问题。因为在测试邮箱上跑了几周没出事,就过度自信了。” 😂
显示更多
0
92
750
125
转发到社区
想多看一些Ai界最有有影响力的顶级英文大佬的输出,却不知道该关注谁?我发现了一个免费的神级网站: MIT的同学通过爬虫和评级找出来了最值得关注的300个博主。 以我最喜欢的科学家 李飞飞 @drfeifei 为例,你可以找到她跟谁互动最多、关联的社区,属于什么类别。 排名前20的账户: 1.OpenAI (@OpenAI) 全球领先的 AI 研究公司 2.Lex Fridman (@lexfridman):知名播客主持人、MIT 研究员,常与 AI 顶尖大佬进行深度对谈 3.Sam Altman (@sama):OpenAI 首席执行官 4.Satya Nadella (@satyanadella):微软 CEO,推动了微软与 OpenAI 的深度整合。 5.NVIDIA GeForce (@NVIDIAGeForce):英伟达游戏显卡官方号,展示 AI 在图形与游戏中的应用 6.Aaron Levie (@levie):Box 首席执行官,以对 AI 产业的犀利观察和幽默评论著称 7.NVIDIA (@nvidia):AI 算力霸主英伟达的官方账号,发布底层硬件与基础设施动态 8. Google AI (@GoogleAI):谷歌 AI 部门官方账号,涵盖其最新的科研成果 9. xAI (@xai):埃隆·马斯克旗下 AI 公司的官号,Grok 10. Andrej Karpathy (@karpathy):前特斯拉 AI 负责人、OpenAI 创始成员,著名的 AI 教育者 11.Brian Armstrong (@brian_armstrong):Coinbase CEO,关注 AI 与加密技术的交叉领域 12.Andrew Ng (@AndrewYNg):吴恩达,AI 界的“一代宗师”,在线教育与机器学习的普及者 13. Google DeepMind (@GoogleDeepMind):谷歌旗下的顶尖 AI 实验室,专注通用人工智能(AGI) 14. Microsoft Azure (@Azure):微软云平台官号,关注 AI 模型在企业级的部署与应用 15. Steven Johnson (@stevenbjohnson):知名科普作家,关注 AI 对人类文明与创新的影响 16. Yann LeCun (@ylecun):Meta 首席 AI 科学家,图灵奖得主,以敢于挑战主流 AI 观点著称 17. Greg Brockman (@gdb):OpenAI 联合创始人兼总裁,常分享技术细节和产品演示 18. Anthropic (@AnthropicAI):由前 OpenAI 成员创立的 AI 安全公司,Claude 的开发者 19. Visual Studio Code (@code):程序员最爱的代码编辑器,正通过 AI(Copilot)重塑编程 20. Demis Hassabis (@demishassabis):DeepMind 创始人兼 CEO,致力于通过 AI 解决科学难题
显示更多
0
18
491
120
转发到社区