最近用 Opus 5 写代码，我也一直被一个问题困扰： 模型明明更强了，但有时候反而更难一起工作。 刚好看到一篇文章也在聊这个。作者发现 Opus 5 遇到模糊需求时，更容易自己做假设，然后一路往下执行，甚至会悄悄扩大任务范围、重新解释原来的计划。 以前 Opus 4.8 或 Fable 有些时候会停下来问一句：「你这里到底想要 A 还是 B？」 Opus 5 更喜欢自己选一个，然后继续干。 更有意思的是，Anthropic 自己的 Opus 5 Prompting Guide 也专门提醒了这个问题：它可能主动扩大 scope、加入没要求的步骤，所以窄任务需要明确告诉它不要擅自扩展。 文章里给了一个挺有意思的猜测： Benchmark 和 RLVR 更容易奖励「大胆做出假设然后把任务完成」的模型。但真实的软件工程里，很多信息永远写不完整。业务背景、隐含约束、架构取舍，经常没有唯一正确答案。 Agent 更自主当然很好，但如果每次都要盯着它别跑偏，这种 autonomy 的价值就要重新算了。 原文：

分享一套很适合补「现代强化学习」的开源教程：Hands-On Modern RL。 它的学习路线很完整，从 CartPole、DQN、PPO 这些经典 RL，一直讲到 RLHF、DPO、GRPO、RLVR，再往后延伸到 Agentic RL、工具调用、多轮信用分配和 VLM RL。 我比较喜欢它的一点，是「实践优先」。很多章节都配了可以直接运行的代码、训练曲线和失败案例，比如从零实现 PPO、数学推理 GRPO、Mini Deep Research Agent，以及 VLM 的 GRPO 训练。训练崩溃、Reward Hacking、KL 漂移这些实际问题也被当成正式内容来讲。 尤其 Agentic RL 部分很值得看。它把训练对象从一次回答扩展成完整 trajectory，讨论工具调用、环境反馈、多轮信用分配和异步 rollout，而这些正是 Agent 从「会回答」走向「会长期行动」之后绕不开的问题。 现在很多 RL 教程还停留在经典控制，这套资源已经把学习路线一路接到了今天的大模型后训练和 Agent 研究。 不过项目自己也提醒，目前仍在快速迭代，而且有 AI 协助生成，部分内容尚未全面审稿，阅读时最好结合论文和代码一起验证。 项目链接：

Andrej Karpathy发表评论表示: 因为人们对大语言模型（LLM）能力的认知鸿沟正在进一步扩大。 现在的情况已经不再只是“两群人在各说各话”，而更像是一个急剧收窄的漏斗。 - 约60亿人（全球人口的75%）：粗略估算，这些人几乎从未真正接触过LLM。 - 约10亿至20亿人（约20%）：他们是ChatGPT等免费产品的轻度、低频用户。这群人接触到的往往是一些略显笨拙的聊天机器人，将其当作功能更强的谷歌搜索、写作辅助工具等等。偶尔也许会有一个AI Agent尝试帮你预订机票。我有一些非科技行业的朋友认为AI对他们几乎没什么用处，而我觉得这种看法完全可以理解。即使是数学和编程领域之外的许多专业人士，也仍然处于这一层级。例如，企业高管和许多其他职能岗位的员工，大部分时间都在与人沟通。因此，尽管他们在理性上理解AI正在发生什么变化，但这种认识仍然来自间接体验，多少有些抽象。 - 约2000万人（0.2%）：接下来是那些在数学和编程领域专业使用前沿LLM的人。这些人已经亲眼见证：过去需要几周甚至几个月才能完成的大型复杂项目，现在只需要给AI Agent一个Prompt，就能由它完成。开发应用、复制应用、迁移应用、从二进制文件中反编译应用……这一切都发生得极其迅速，而且就在最近。不到一年前，我还在亲手编写代码，在代码编辑器里逐字逐符地敲入那些记在脑海里的编程指令，偶尔按一下Tab键，让自动补全帮我生成一小段代码。 - 约5000人（0.00006%）：最后，是那些能够在内部接触最前沿AI系统的人。外部世界目前看到的，只不过是一个预览版本。真正的前沿能力可能是这样的：成千上万个AI Agent组成集群，连续数周协作，完成超大型软件工程项目；发现零日漏洞；以机器速度发动和防御网络攻击；发现新的科学知识；推进数学研究的最前沿。这些任务过去可能需要业内顶尖专业人士花费数年才能完成。与此同时，人类的审查能力和理解能力已经开始跟不上AI的发展速度。例如，人们至今仍在对数月前的OpenAI-HF事件进行所谓的“考古式研究”。而数学家们可能还需要花费很长时间，才能仔细研究那722篇关于前沿数学的论文手稿。 造成这种漏斗式分化的，是以下几个因素共同作用的结果： 1. AI带来的影响，随着目标的雄心、问题规模和任务时间跨度的增加而扩大。 一个只需要一段文字就能回答的问题，几乎无法触及这些系统的能力上限。你必须拥有大量真正关心、规模庞大且难度极高的问题，才能充分发挥AI的能力。 这一因素主要解释了为什么普通消费者和专业用户之间会出现如此巨大的体验差异。 2. AI能力分布的不均匀性（Jaggedness）。 关于这一点，我此前已经写过很多。 AI能力的高峰集中出现在那些数字化程度高、结果可验证，而且具有明确经济价值的领域。 这是因为LLM的能力很大程度上来自基于可验证奖励的强化学习（Reinforcement Learning on Verifiable Rewards，RLVR），而训练环境的组合经过精心筛选，其选择又受到潜在商业收入的驱动。 这一因素主要解释了为什么不同专业领域之间会产生如此巨大的能力差异，例如数学和编程领域为何尤其突出。 3. 使用权限（Access）。 免费版本、付费版本，以及仅供内部使用的前沿系统，所提供的能力存在显著差异。 这就是我们所处时代的奇特之处。 绝大多数普通人几乎没有真正接触过这些AI系统。即便接触过，他们看到的也只是一个有点笨拙的聊天机器人。 大多数专业人士目前感受到的，也只是相对有限的生产力提升。 然而，极少数专业人士正在亲身经历另一种截然不同的现实：AI能力曲线突然变得近乎垂直向上，他们正体验着这种指数级跃升所带来的眩晕感。 而这一切，正在同一个时代、同一个时刻，同时发生。

最近有跟很多人聊 AI，发现很多人其实分不清推理和训练是什么。 1️⃣ 推理（inference）：模型答题 你每天用的 ChatGPT、Claude，基本都停在推理这一层，说白了就是你向一个已经训练好的模型发请求、它给你回复的过程。 模型的权重早就在训练阶段固定死了，你输入一段 prompt 进去，它做一次前向计算，吐出结果。可以直接把它当成一个服务端，请求和请求之间互不通信、互不影响。 2️⃣ 预训练（pre-training）：从零造一个大脑 这是整个大模型诞生里最重、也最关键的一步。一般会拿几十 TB 的数据喂给一个随机初始化的网络，让它反复学预测下一个词，一次训练动辄几个月，烧掉巨量的 GPU 卡和电费，最后产出一个基座模型（base model）。 它对硬件的要求很变态，几千张顶级 GPU 得物理上挤在同一个机房，用 InfiniBand 高速互联连成一台超级计算机，因为每次训练都要同步梯度，这也是为什么HBM贵的原因。 预训练造出来的模型其实还很难用，它只能保证闷头续写(输出token)，你问它一个问题，它可能给你顺手反问三个类似的问题出来。 3️⃣ 后训练（post-training）：把大脑调教成助手 从只会续写的基座模型，需要通过后训练才能变成好好跟你聊天、帮你完成任务的助手。 它是一个很长的工序，把预训练之后所有继续改权重的工序都装进去，主要有以下几种方式： 1.SFT：监督微调，喂人工写好的问题和好答案，教它按指令回答 2.RLHF / DPO：用人类偏好数据对齐，让它知道哪种回答更受欢迎、更安全，Anthropic 那套 Constitutional AI 就是这一支的变体 3.推理训练 RLVR：拿数学对不对、代码跑不跑得通这种能验证的奖励，专门练它的推理链。后训练的数据量和成本比预训练小好几个数量级，但一个模型好不好用、听不听话、安不安全，主要是这一层练出来的，不是靠参数量堆出来的，比如gpt风格明显就更加严谨、claude会更发散。 同样是训练，预训练拼的是算力和资本，后训练拼的是数据质量和调教手艺。 4️⃣ 微调（fine-tune）：特定化调整 这是普通公司和个人唯一玩得起的训练。微调就是拿一个已经预训练好的模型，用你自己私有小规模的特定数据再补一补，让它适配某个行业、某类任务、某种风格。上面说的 SFT 其实就是微调的一种，只不过大家平时说微调，更多指自己拿开源模型 Llama、Qwen 在自家的私有数据上接着训。 早期微调要动全部参数，成本还是挺高的，个人和小公司玩不起。后来有了 LoRA 这类参数高效微调，把原模型冻住，只训一小撮新增的低秩参数，便宜到一张显卡、几十块钱电费就能跑一次。 所以你听到某公司说我们训了个垂直领域的大模型，先别急着膜拜，大概率是在这一层 LoRA 了一下。

翁家翌新 blog：超越梯度的学习 昨天看到翁家翌（前 OpenAI 研究员）新写了一篇 blog《Learning Beyond Gradients》，挺有意思的，分享一些我读下来的感受。 原文较长且偏技术，下面这版做了不少删减和重组，建议感兴趣的同学直接读原文 · · · 翁家翌：超越梯度的学习 持续学习（Continual Learning）之所以一直很难，很大程度上是因为神经网络的顽疾：灾难性遗忘。那如果我们不只盯着权重更新这一条路呢？ 随着 LLM agent 越来越强，写代码这件事变得又快又好。但翁家翌注意到一个更有趣的现象：agent 可以反复读取失败信息、修改策略代码、添加测试、回放录像，让整套程序在不动任何网络权重的情况下持续变强。 · · · 这个视角让他重新审视了一个老朋友：heuristic，也就是手写规则和程序化策略。之前很多 heuristic 不是没用，而是维护太贵了，而coding agent 改变的正是这条维护曲线。那些曾经用完就扔的一次性补丁，开始变得值得长期拥有。 凡是能被持续迭代的东西，都开始变得更可解，这也恰恰是持续学习一直追求的目标。 它有没有可能成为继 pretraining → RLHF → 大规模 RL/RLVR 之后的下一个范式？ · · · 翁家翌用 Codex（gpt-5.4）做了实验，纯写规则版本，完全不碰神经网络。结果超出预期： — Atari Breakout 的打砖块分数从 387 一路升到 864，达到理论最高分； — MuJoCo 四足和跑步机器人任务中，纯 Python 策略也跑进了常见 Deep RL 结果的量级，HalfCheetah 五轮均值 11836.7； — 跑完 Atari 全部 57 个游戏后，在相同的环境交互步数下，中位数得分已经远高于 PPO 这类标准算法。 这里被更新的对象早就不是单纯的策略函数了，而是一整套带着记忆、反馈入口和回归机制的软件系统。翁家翌把它叫作 Heuristic Learning（HL，启发式学习）。 （我自己也做过 evolve，但不训练神经网络，纯靠规则约束，感觉系统怎么都智能不起来。其实不管 RL 还是 HL，能不能跑起来都是看一件事，优化结果的评分能不能清晰定义。） · · · Heuristic Learning（HL） 是什么？HL 怎么持续学习？ HL 的核心是用 coding agent 维护一个 Heuristic System（HS）。 和 Deep RL 的差异： — 反馈来源：不是 loss 函数，而是测试结果、环境奖励、日志、视频、失败模式分析； — 更新方式：不走反向传播，agent 直接改 policy、状态检测器、测试、配置或记忆结构； — 维护对象：不止一个 trace（黄金轨迹）、环境 wrapper 等。 以前怎么没人搞？专家系统 70 年代就有，但人维护起来是噩梦：加一条规则修好 case A，case B 崩了；规则堆到几百条后，除了原作者没人看得懂。 而 coding agent 不怕堆规则。它能同时读所有代码、跑全量测试、对比日志，把维护成本打下来。用翁的比喻说，就像纺纱机改变纺线成本曲线一样：手工纺贵得要死，机器一上来就塌掉了。 · · · Heuristic Learning 怎么做 Continual Learning 神经网络把经验压进权重，忘没忘、怎么忘的都是黑箱。HL 的历史则是显式的：版本 diff、回归测试、replay、视频、golden trace 全透明。新增能力前先固化旧能力：跑回归测试、跑固定种子回放。如果新规则破坏旧 case，agent 能直接定位到哪行代码引入的 regression。 但规则叠太多、agent 自己都维护不动的时候，就需要"历史压缩"，把一堆 case-specific 的补丁合并成更通用的逻辑，否则系统迟早变成没人敢碰的代码泥球。 · · · 当然，HL 不是万能药。因为 Heuristic Learning 并不能做所有神经网络能做的事情。它的上限卡在代码的表达能力：比如复杂感知和长程泛化。翁家翌也坦率地说，他想不出有哪个 agent 能纯靠 Python、不用网络去搞定 ImageNet。 所以真正的问题变成了：怎么把神经网络和 HL 结合起来，同时搞定在线学习和持续学习？ 最有希望的方向是：用 HL 快速处理在线数据，把在线经验变成可训练、可回归、可筛选的数据，再周期性地更新神经网络。以机器人为例，借用 System 1 / System 2 的说法，一种可能的分工是： — 专用浅层 NN 作为 System 1 的一部分：快、便宜，负责感知、分类、物体状态估计； — HL 也可以当做 System 1 的一部分：负责最新数据处理、规则、测试、回放、memory、安全边界、局部恢复； — LLM agent 作为 System 2：负责给 HL 提供反馈、改进数据，并周期性把 HL 生成的数据拿过来更新自己。 · · · Agentic coding 改变的不仅是写代码的速度，更改变了"哪些代码值得被长期拥有"。过去很多 heuristic 看上去没前途，不是它们太弱，而是维护不起。 coding agent 改变的就是这条维护成本曲线。 规则、测试、日志、记忆和补丁，原来只是散落的工程材料，现在开始能组成一个持续进化的 Heuristic System，去解决在线学习和持续学习一直没搞定的事。 欢迎来到下一个范式。 · so，skills + instruction following = AGI？