AGI is the most important and potentially dangerous technology of our time. OpenAI was right that this technology merits strong structures and incentives to ensure it is developed safely, and is wrong now in attempting to change these structures and incentives. We're urging the AGs to protect the public and stop this. https://t.co/sgLzd9QACU (2/2)

在AGI的混合路径上，我们是那50%的“人类变量” 我们曾经以为，我们每天的“一念天堂一念地狱”的AI体验摇摆，源于LLM当下的架构缺陷。我们以为，只要熬过这个“巴别塔”的搭建阶段，一切都会好起来。 今天，DeepMind的掌舵人Demis Hassabis，用他那冷静而深邃的视野，告诉了我们一个更宏大的真相： 我们今天的摇摆，并非因为我们走错了路，而是因为我们正处在两条通往AGI的伟大路径，那激烈、痛苦、但又充满希望的交汇点上。

超级人工智能AGI又一难题被解决！ 大语言（LLM）模型的缩放定律（scaling law）的最大阻力，是用于训练的整个互联网的数据已经耗尽，ai进化速度放缓， 直到《Absolute Zero》论文横空出世！ 论文团队抛弃了人工标注，让AI自己生成数据，实测效果，行业最佳（Sota）！ 这对agi，意味着什么？🧵 https://t.co/n5HLLTy5q7

A list from @ESYudkowsky of reasons AGI appears likely to cause an existential catastrophe, and reasons why he thinks the current research community — MIRI included — isn't succeeding at preventing this from happening. https://t.co/hW4LRIAZuD

这篇文章可能是回复这个问题的一个视角： AGI来临后，资本将比以往任何时候都更重要（人的劳动价值比任何时候都不重要） 因此人对“国家”的价值也大幅下降（不要认为文艺复兴之后持续至今的民主自由是理所当然的） 贫富差距拉大，阶层固化，很可能都是agi后面临的问题 从这个角度来说， “区块链保障的财产自由很可能真的是人类面对agi的最后一道防线” -- @myanTokenGeek 全文翻译： AGI来临后，资本将比以往任何时候都更重要 作者：L Rudolf L 2024年12月28日 本文原文发布于作者的Substack。 这篇文章的修改版本现已纳入更为全面的系列文章《智能的诅咒》中。 补充说明：本文的核心观点是：能够替代劳动的人工智能（AI）将改变人类与非人类生产要素的相对重要性，导致社会对人类的关注动机减弱，同时使现有权力结构更有效且更难被撼动。很多人阅读本文时产生的误解主要有两类：（a）“资本”仅被理解为“金钱”，而忽略了资本还包括工厂、数据中心等实物资本；（b）关注点仅限于人与人之间的不平等，而忽视了更广泛的社会层面、整个人类的集体处境、社会变革潜力和人类能动性。 我听过很多人说“AGI时代金钱将不再重要”，对此我一直觉得奇怪，而且几乎肯定是错误的。 1、定义与背景 首先：劳动指的是人类的脑力和体力付出，用以创造有价值的东西。资本品则是诸如工厂、数据中心、软件等由人类建造的、用于生产商品和服务的实物资产。我会用“资本”来泛指资本品的存量以及用于购买它们的钱。当我只想指代钱时，会用“货币”或“金钱”。 AI最关键的经济影响是使资本越来越普遍地替代劳动。因为可以用资本（例如运行软件的数据中心）替代人类的脑力劳动，所以支付给人类劳动的需求下降。 2、由此带来的后果 我将逐步阐述这些影响，最后得出结论：劳动替代型AI意味着： 购买现实世界成果的能力将大幅提升 人类在现实世界掌控权力的能力将大幅下降（至少没有金钱支持时如此），其原因包括： 国家、公司和其他机构将没有动力关心人类 人类难以凭借自身起点资源实现极端成功 激进的平权措施不大可能出现 总体来看，这暴露了变革性AI的一个被忽视的负面风险：社会可能变得永久静态，现有权力失衡被强化并固化。 3、物质舒适不是问题？ 在足够强大的AI背景下，这风险并非来自物质匮乏。政府可以用AI创造的财富实行全民基本收入（UBI）。即使只有美国捕获了AI带来的财富，而美国政府对世界毫无作为，如果你愿意假设AI能创造极端的财富，美国富豪中只要有1%愿意将财富用来资助全球，那他们的财富规模增长约7万倍（16次翻倍），就能给地球上每个人发放相当于50万美元的财富。假设经济呈奇点般高速增长，这不会花费很长时间。当然，如果AI爆发没有那么极端，或AI崛起过程中大规模剥夺了全球人口权力（这是真实可能），那么物质舒适也可能成问题。 对我情感触动最大的是 一个权力阶层锁定的静态社会，对我而言既不动态也不充满生机。如果有可能，我们不应该扼杀人类的野心。 此外，这种状态还可能让AI导致的慢性灾难更容易发生，因为掌权者对人类的关心减少了。 3、解决方案假设 假设大多数人目前靠工资获得报酬的脑力和体力劳动不再有显著市场价值，因为这些工作能被AI做得更好、更快、更便宜。这就是“劳动替代AI”。 应对失业问题的标准方案有两个层面： 政府实行某种形式的全民基本收入（UBI） 我们快速进入超级智能时代，假设超级智能是对齐的，生活在一个后稀缺的科技乌托邦里，万物皆有可能 需要指出的是，除非只有一个AI系统负责所有经济规划，否则货币仍然存在。价格本质上是传递信息的手段。如果有多个参与者相互交易，价格必然存在（即便人类看不到或不直接参与）。再者，无论奇点多锋利，资源仍是有限的，必须进行分配。 4、货币难以购买顶尖人才 货币可以买很多东西：资本品通常可以买到，且不能没有大量资金（或流动资产、或可用合同担保的非流动资产、或特殊政府权力）购买。但是将金钱转换成顶尖劳动力，却异常困难。 举例：Blue Origin（蓝色起源）与SpaceX的对比。Blue Origin成立比SpaceX早两年（2000年vs 2002年），资金充裕，员工数量也接近（11,000 vs 13,000），但SpaceX却彻底压倒了Blue Origin。2000年，贝索斯掌握47亿美元，但难以想象他怎样没被资金较少、但文化和人才更优秀的SpaceX打败。 百年前，莱特兄弟凭借有限的资源战胜资金雄厚的兰利也是类似的例子。 无论是风险投资和创业者，还是收购方与创业公司，巨额资本持有者愿意出高价押注于劳动力，赌这少数人的能力能战胜大量资金。 将钱变成果的最大瓶颈是找到合适人才。困难包括： 评判人才难，除非自己在该领域有极高能力 人才稀缺且证书型人才更稀少（且很多人无法承受非证书人才的风险） 即便找到顶尖人才，他们通常不易被金钱收买 当然，资本持有者也在建造基础设施，让金钱更易转化成成果——量化金融公司就是成功例子，他们能挤压顶尖STEM人才的野心，只为在金融市场榨取微利。 5、有了劳动替代AI，这些问题将消失 首先，你可能难以评判AI人才。AI能力的评估本身就复杂。即使之前口口相传“Claude-3.5-Sonnet”比任何基准都好，这种非正式评价未来也将更难。真正区别是：AI能被克隆。目前大量资金追逐一位做出突破的明星研究者，使其能力被资本方理解（资本方可评估论文的社会认可度，但难以直接评判天赋）。而AI明星研究者可以被无限克隆。拥有足够资金买GPU的人都能获得这个AI明星研究者。无需在形形色色的独特人类中筛选。这就是为什么资本更容易获得顶尖人才。 其次，AI人才价格将大幅下降，因为AI比同等人类劳动更便宜，且AI可被无限复制，竞争将更激烈。 最后，顶尖人才的难以收买源于复杂的人类偏好：顶尖艺术家执着于艺术愿景，顶尖数学家热爱优雅与美感，顶尖企业家有坚定信念且不适合成为普通员工。人类的才能与对某种使命的神圣纽带紧密相连（这点被现实主义者、职业主义者或帝国主义者轻视，最终被有雄心的实习生、企业家和信仰所颠覆）。相比之下，AI被设计成容易被“买断”（至少在安全训练范围内）。天才AI数学家会心甘情愿地用有限时间验证平凡代码。 显然，AI最终能力将远超任何人类员工。 这意味着，拥有金钱购买现实成果的能力一旦出现劳动替代AI，将大幅提高。 6、大多数人的权力来自劳动 劳动替代AI也剥夺了绝大多数人最主要的权力杠杆。最明显的是，普通人赚钱，是因为有人支付他们用脑力和体力解决问题。 但等等！有了全民基本收入，不是问题解决了吗？ 国家为何“善待”人类？ UBI由关心人类福祉的国家提供。国家关心人类有很多原因。 过去几个世纪，国家对人的关注大幅提升，原因包括： 启蒙运动带来的道德变革，尤其是自由主义和个人主义的兴起 富裕与技术进步，前工业社会普遍贫穷，帮扶穷人代价极高。有效医疗等帮助只有靠新技术实现。 国家有激励关注自由、繁荣和教育 AI将极大推动第二点，对第一点影响复杂。但我更想谈第三点，因为这一点被低估。 自工业革命以来，国家利益与人民利益异常一致。强国需要高效市场、良好教育培养技术人才、富裕中产带来消费。国家获益于无视阶级起源使用人才，也获益于高自由度推动科学、技术和文化软实力。国家间的竞争推动这些方向进步——比如美国的成功，甚至中国共产党推动高效市场和教育，以及一定程度的自由以促进科技和创业。与封建制度对比，封建制的策略是建立剥削性上层阶级统治文盲农民，并将大部分租金用来打仗。详细内容可见作者对《Foragers, Farmers, and Fossil Fuels》的评论，或他关于道德价值与经济增长关系的帖子。 劳动替代AI后，国家为最大化竞争力或权力所采取的行动激励，将不再与人类利益对齐。激励或许比封建时代还“好”：封建时代是尽可能榨取农民而不让他们死去；劳动替代AI后，人类不再是资源，只是无关紧要的存在。然而，国家仍会激励将资源投向维持竞争优势的AI。 人类对国家的影响力也大幅下降。如今若重要行业罢工，或军队威胁政变，国家必须关心，因为其权力依赖部分民众支持。人们还能说服国家“投资我们，国家十年后更强”。但一旦AI能承担经济和军事大部分劳动，国家实际上无理由理会人类诉求。 亚当·斯密写过他吃饭不依赖肉贩、酿酒师和面包师的仁慈。古典自由主义者现在可以说历史弧线真的朝自由和富足弯曲，不是靠国家的仁慈，而是资本主义和地缘政治的激励。但劳动替代AI后，这不再成立。历史弧线如果继续朝自由富足发展，只能靠国家或AI寡头的仁慈。若如此，我们最好在还有杠杆时锁定这种仁慈，并有充分理由相信它能经得起时间考验。 7、民主仍是希望 现代许多强大制度（即西方民主国家）中，平等代表权是一大优势。然而，全球只有约13%人口生活在自由民主国家，这令人担忧剩余87%（尤其是27%在封闭专制国家）的命运。同时，存在“摩洛克竞争”可能：人文主义国家与不那么讲究的国家之间的竞争，可能导致用于人类福祉的资源长期降至零。 我重点谈国家，因为它们是当今最强大且最持久的制度。但若未来公司或新型机构成为最重要的权力实体，类似逻辑依然成立。 8、不再有屌丝逆袭？ 世界许多变革由起点无权无势者通过努力获得非凡成功驱动，然后获得财富和权力。这合理，因为拥有财富权力者往往维护现状，缺乏推动重大变革的热情。 无论你对收入不平等或个别成功者观点如何，我相信你同意，个人通过劳动实现异类成功、改变世界的可能性，对于避免社会停滞和让世界充满活力至关重要。 劳动替代AI对各种通过劳动实现异类成功路径影响如下： 创业被认为是有技术天赋且非政治性格的年轻人追求野心的“技术”。现在创业更容易，AI工具让小团队更高效，降低技能门槛。但劳动替代AI让创业可持续性成疑。或许在某种狭义情况下，AI主要作为工具，创业者还能存在。但更可能强AI让人类创业过时。比如风险投资能直接用钱发起数百个由AI驱动的创业，而无需通过人类创业者管理。 硬科学领域的人类成就时代可能在数年内结束，因为AI在有明确奖励信号的领域进步极快。 知识分子领域。凯恩斯、弗里德曼和哈耶克在经济学上的技术贡献有限，他们更影响深远是因其推广的世界观和哲学。知识分子的成果不仅取决于技术正确性，还需道德判断。即便AI超人般有说服力，AI创作的意识形态泛滥可能使任何单一意识形态不再闪耀。历史级知识分子可能灭绝。 政治可能受影响最小，因为大多数人特别希望由人类来做这份工作，且政治家能制定规则。AI生成头像的魅力和西方对政治家的普遍反感可能带来意外变化。AI可能降低政治竞选成本，降低门槛，但如果昂贵AI比廉价AI更优，这会有利于资金雄厚者。直接影响可能小于AI对信息传播格局的间接影响。 真正的玩法可能不是直接进政府政治领域（竞争激烈），而是在政府外部运用政治技能（比如Sam Altman）。接着等待超能AI员工来降低对人类专业能力的要求，同时提升组织内部政治游戏的回报。 军事作为大国和破坏力直接通路，自拿破仑以来变得不太现实。技术进步提高了军队工业基础门槛，有利现任者。AI预计被最强国控制。一例外是若AI让大国政变更易，或无人机革命催生“无人机拿破仑”挑战现有军队。两者对政变难度影响不一，难以判断净效果。重要的是，这些似乎不会促进破坏现状的良性挑战。 宗教领域，升迁可能受政治影响，创立新宗教则与知识分子处境类似。 综上，强大劳动替代AI总体上对各种异类成功机会产生负面影响，政治领域或许影响最小。尽管当前AI对创业有明显推动。 这意味着没有钱的情况下，现实世界中获取并行使权力的能力将大幅降低。 9、强制平等不太可能实现 《大平等者》一书认为，历史上大幅减少不平等的主要驱动力是“四骑士”：全面战争、暴力革命、国家崩溃和瘟疫。通过有意识政治选择实现收入平等历史上几乎未见。 设想劳动替代AI已来，UBI通过，没人挨饿。各国和企业争抢AI技术，过程资本密集，需讨好资本持有者。顶尖AI公司权力堪比国家。财富重分配不太可能登上政治议程。 例外是某种政治运动或意识形态突然兴起，且被AI赋能（比如没人工作有大量时间政治，或有新AI驱动协调机制）。 即使未来是辉煌的超人类主义乌托邦，人们也不太可能起点平等，且很难后续改变相对地位。 国家间平等亦难。某些国家获益远多于他国。诸如UBI这类平等措施难以扩展到非公民。即便美国作为最自由人文主义大国也如此。默认世界秩序可能变得（较今日更）像基于出生国的全球等级制度，移民可能更加困难，因为允许移民的主要激励是经济利益，而这种利益存在于人类经济活动仍具意义时。 10、默认结局？ 基于上述假设和分析，后劳动替代AI时代： 金钱购买现实成果的能力将空前强大 人们的劳动带来的影响力空前微弱 几乎所有领域靠劳动获得异类成功的可能性消失 资本无论国内外都未发生革命性平衡 这意味着劳动替代AI启动时拥有大量资本者将永久占优。他们权力将超越当今富人——不一定是对人（如果自由主义制度坚固），但至少对物质与知识成果。后来者无法击败他们，因为资本可轻松转化为超人类劳动。 同时，掌握权力的机构将无动力关心人类以维持或扩大权力，因为一切真正权力将来自AI。或许自由人文价值会通过政治机构锁定，或全民基本收入保障购买力和经济保有人类导向部分。 理想情况是类似一个更不平等但史无前例富裕且稳定的挪威：巨大的非人类劳动资源（油田：AI）惠及全民，人人生活优越且理想中长生不老。人类野心只能在局部社会与阶级间玩政治游戏。若无资本（甚至有时有资本），影响世界不再可能。AI比人类诗人、艺术家、哲学家更优秀，谁会关心人类做什么，除非是个人认识的人

OpenAI 刚刚发布 ChatGPT Agent — 让早期测试者体验到"AGI时刻"。 这不只是个聊天机器人。它能在自己的虚拟电脑上思考、规划并执行复杂任务，你可以去做别的事。 看看早期用户已经实现了什么：🧵

📺 From @Siliconvos: "We are on the cusp of creating artificial general intelligence (AGI), even though the corporations building this technology admit they don't know how to control it." Watch their video on @AnthonyNAguirre's new essay about how we can "Keep the Future Human": https://t.co/38yVloM6ca

《做市算法揭秘：护盘还是砸盘？做市商如何使用借币》（作者 @agintender）文章揭示了币圈做市商常用的「call option」模式的核心逻辑与策略，即项目方提供代币，做市商提供稳定币做市，同时拥有期权。当做市商拿到代币后，会立即大量卖出以实现资金需求和风险中性对冲，并持续通过价差套利、Gamma Scalping 和动态对冲期权波动获利，最终无风险地实现收益。作者指出，这种策略并非做市商刻意砸盘，而是理性且精密计算后的最佳选择。阅读全文：https://t.co/2aTRXrV4U5

Today we're releasing a developer preview of our next-gen benchmark, ARC-AGI-3. The goal of this preview, leading up to the full version launch in early 2026, is to collaborate with the community. We invite you to provide feedback to help us build the most robust and effective benchmark possible. ARC-AGI-3 is the continuation of the ARC series of AI benchmarks: • Focus on generalization and adaptation to novelty • Easy for humans, yet extremely difficult for AI • Built exclusively on Core Knowledge priors, with no other domain-specific knowledge required The biggest evolution is a complete shift to an interactive format. ARC 3 is a collection of unique, novel games set in the ARC grid world. To succeed, an AI must learn on the fly through efficient trial and error. There are no instructions, so everything is up for you to figure out: • What are the underlying concepts and mechanics? • What do the controls do? • What is the goal, and how do I achieve it? We are directly probing an AI's ability to efficiently explore, learn, and plan when faced with a completely unknown task. So far, all systems we've tested score 0. Yet all these games are fully solvable by humans in a few minutes with no prior training.