DeepSeek火出圈的这十几天，其实也是噪音最多的一段时间，说实话大部分的讨论成品都有种加班硬赶KPI的味道，是人是鬼都在掰扯，有留存价值的屈指可数，倒是有两期播客让我听后受益匪浅，非常推荐。 一个是张小珺请来加州伯克利大学AI实验室博士潘家怡对DeepSeek论文的逐句讲解，接近3个小时的高密度输出，非常能杀脑细胞，但杀完之后分泌出来的内啡肽，也含量爆炸。 另一个是Ben Thompson关于DeepSeek的3集播客合集，加起来1个多小时，这哥们是News Letter的开创者，也是全球最懂技术的分析师之一，常年旅居台北，对中国/亚洲的近距离洞察比美国同行要高很多。 先说张小珺的那期，嘉宾潘家怡当时是在读完DeepSeek的论文之后，最快开发出了小规模复现R1-Zero模型的项目，在GitHub上已经接近1万Stars。 这种薪火相传式的知识接力，其实是技术领域理想主义的投射，就像月之暗面的研究员Flood Sung也说，Kimi的推理模型k1.5最初就是基于OpenAI放出来的两个视频得到了启发，更早一点，当Google发布「Attention Is All You Need」之后，OpenAI立刻就意识到了Transformer的未来，智慧的流动性才是一切进步的先决条件。 所以大家才对Anthropic创始人Dario Amodei那番「科学没有国界，但科学家有祖国」的封锁表态大为失望，他在否定竞争的同时，也在挑战基本常识。 继续回到播客内容上，我还是试着划些重点出来给你们看，推荐有时间的还是听完原版：（1/n）

学深度学习一上来就 import torch，模型能跑起来，面试官问一句反向传播里梯度怎么传的，支支吾吾答不上来。 TrenTorch 的路子是不用 PyTorch，只靠 NumPy 从零写一个自己的深度学习框架，它照着哈佛 CS249r 课程的 TinyTorch 重做了一遍，还往前推了一段。 一共 20 个模块分四部分，先是张量、激活函数、层、损失、自动求导、优化器、训练循环这 8 块基础，接着卷积做图像分类。 GitHub： 第三部分是分词、词嵌入、多头注意力和 Transformer，最后写出 GPT 式的语言模型。第四部分讲推理，性能分析、量化、KV 缓存加速，优化器一路做到 AdamW、Lion、Muon。 每过一段会解锁一个历史里程碑复现，拿自己写的框架跑经典模型。装好自带一个 tren 命令行，进度和测试都在里面管。 20 个模块作者说小到能一口气读完，我觉得比刷文档踏实，想真正搞明白框架底下在干什么的可以照着敲一遍。

强烈推荐大家看看DeepMind CEO Demis的最新判断。 真的，Google DeepMind 的 CEO Demis Hassabis 每一期访谈我觉得值得都花时间看看。这哥们讲东西很实在，而且通俗易懂。 早上边跑步边听完了他和 YC CEO Garry Tan 的最新一期播客。 刚刚把笔记写完，也给大家分享下。 多说一句，好多人问我这种笔记是不是 AI 写的。我说下自己的流程。 我会先完整听完播客，然后用语音输入法把感触尽量充分地讲出来，再让 AI 帮着整理初稿，最后自己逐字修改优化。 如果全部交给 AI 做总结，那等于把思考和理解的能力让渡给了 AI，对自己理解这件事其实没有任何价值。 OK，咱们进正题。 1 Demis 的态度非常明确，现在的大模型范式（大规模预训练 + RLHF + CoT）一定会是 AGI 最终架构的一部分，他不认为这会是条死路。 但要实现 AGI，还有几个关键问题要解决。这几个问题包括：持续学习、长程推理和记忆系统。 先从最容易看到的现象讲起，Context Window。 现在大模型处理长信息，最常用的招就是把 Context Window 一直撑大。一开始 8k，后来 32k，再后来 100 万 Token。听起来很厉害，但本质上是暴力堆砌。 Context Window 其实就相当于人脑里的 Working Memory，工作记忆。人的工作记忆能同时装多少东西？心理学里有个经典数字，7 个左右。背电话号码能记住 7 位上下，再多就溢出了。 大模型呢？已经做到 100 万 Token。 按理说，模型的工作记忆比人大几十万倍，应该比人聪明几十万倍才对。但显然不是。 问题也恰恰就出现在这。把所有东西都塞进 Context Window 里，里面包含了不重要的东西、错的东西、过时的东西。看起来信息很多，其实是一团乱麻。 那人为什么 7 个数字的工作记忆就够用？ 因为人脑背后还有另一套机制在工作。我们记得几年前的事，记得童年的事，记得几小时前发生的事。这些都不塞在工作记忆里，而是另一套系统。 具体来说这套系统是海马体，大脑里负责把新知识整合进已有知识库的那个部分。 研究发现，人睡觉的时候，特别是 REM 睡眠阶段，大脑会重放白天重要的片段，让大脑从中学习。新东西在睡觉的过程里，温柔地融进了旧的知识体系。 这个把新东西融进旧知识库的过程，就是持续学习。 模型现在没有这套机制。每一次对话结束，刚学到的东西就会忘记。下次重新打开，还是上次那个模型，没长进。 2 再聊聊长程推理的问题。英文表达是 Long-term Reasoning。我翻译为了长程。 长程推理这个词太抽象了。Demis 讲了一个特别具体的故事，听完会立刻明白他说的是什么。 他说自己喜欢跟 Gemini 下国际象棋。下棋的过程里能看到模型的 thinking trace，也就是它在那里到底想了什么。 然后他发现一件怪事。 模型考虑一步棋的时候，思考链里清清楚楚写着，这步是个昏招。但接下来，它没找到更好的走法，于是又走回这步昏招。 明明知道是错的，还是把错的那一步走出去了。 这个细节比任何 benchmark 数据都说明问题。因为它暴露的是模型缺少对自己思考过程的某种内省能力。 正常人下棋，意识到一步是昏招之后，脑子里会有一个反应，停一下，再想想。停一下、再想想这个能力，模型现在没有。它能在每一步局部判断对错，但没法基于整盘棋的局势去调整整体策略。 这就是长程推理还没搞定的样子。模型可以一步一步往前走，每一步看起来都合理，但走到后面整盘棋的方向其实是错的。它没有那种退回到当前思考的上一层、重新审视一下的能力。 说到底，模型缺的是一种内省。 3 学习、长程推理、记忆，这是 Demis 在播客里点出来的三个 AGI 鸿沟。 除此之外，他还反复提到了创造力。 2016 年 AlphaGo 跟李世石下棋，第二局走出了著名的 Move 37。那一步棋走出来的瞬间，全世界的围棋高手都看呆了。 所有人类几千年下围棋积累的经验都告诉它不该下那里，但 AlphaGo 下了。下完之后大家发现，是一步神来之笔。 很多人觉得，这就是 AI 的创造力来了。 但 Demis 说，对他自己来说，Move 37 只是起点。他真正想看到的是另一件事。AI 能不能发明围棋这件事本身。 这两件事的区别非常关键。 Move 37 是在围棋这个现成的规则里，找到了一步人类没想到的招。但围棋的规则、棋盘的形状、黑白子的对弈方式，是人类发明出来的。AI 在已有的框架里非常厉害，但能不能自己造一个框架，是另外一回事。 Demis 给了一个具体的设想。 如果给 AI 一个高层次的描述。造一个游戏，五分钟能学会规则，要好几辈子才能精通，棋局有审美，一下午能下完一局。AI 能不能根据这个描述，自己倒推出围棋？ 目前做不到。 为了把这件事讲得更清楚，Demis 还提了一个测试，他自己叫爱因斯坦测试。 用 1901 年人类已有的全部知识训练一个模型，看它能不能在 1905 年那个时间点，自己推出狭义相对论。 爱因斯坦在 1905 年那一年里，连写了几篇改变物理学的论文，后来叫爱因斯坦奇迹年。那些工作不是从已有的物理学论文里通过拼接得到的，是基于已有材料做了一次全新的概念跳跃。 爱因斯坦测试想问的就是这件事。AI 能不能做这种跳跃。 目前的大模型主要在做两件事，pattern matching 和 extrapolation。一个是从大量数据里找规律，一个是把规律往外延伸一点。但发现新东西需要的是类比推理的能力。从一个领域里抽出深层结构，搬到另一个全新的领域去用。 这个能力，模型现在还没有。也可能是有，但用法不对所以激发不出来。 4 除此之外，Demis 还分享了一个让我特别出乎意料的判断，他说未来 6 到 12 个月，真正的价值不在更大的模型，在更小的模型。 这一部分内容我反复听了好几次，确实突破我的已有认知。 不知道大家的想法，反正我自己，这一年来并没有怎么关注小模型的进展。毕竟行业的焦点就是把模型做大嘛。 那小模型的价值到底在哪？ 最直接的是成本。同样一个任务，小模型的推理价格可能只是前沿模型的十分之一甚至更少。 但 Demis 说，比成本更重要的其实是速度。 这里有一个前提得先说清楚。Demis 不是在说速度可以替代智能。 他的原话是，当小模型的能力已经达到前沿模型的 90% 到 95%，也就是已经相当不错的时候，剩下那 5% 到 10% 的能力差距，比不上速度带来的好处。 比如现在工程师用 AI 写代码，已经形成了一种新的工作节奏。一个想法冒出来，几秒之内就能看到结果，不行就改，再不行再改。 这个一改再改的循环跑得越快，做出来的东西就越好。如果每次调用都要等十秒，整个工作流就被打断了。 更关键的是，快到一定程度，工程师在这种节奏里能进入心流。一个想法、一次尝试、一个反馈、再来一个想法，思维不被打断。 这件事写过代码的人都懂，进入心流和频繁掉出心流，产出的差距是数量级的。 Agent 也是同样的逻辑。一个 Agent 跑完一个任务可能要调几十次模型，每次慢一秒，整个任务就慢一分钟。慢到一定程度，Agent 就从一个能用的东西变成鸡肋。 小模型不是大模型的廉价替代品。有些事只有小模型能做。 比如手机、眼镜、家用机器人，需要的就是一个能在本地跑起来的模型。本地跑除了反应快，还有一个特别重要的好处，隐私。 家里机器人看到的视频、听到的对话，全部在设备本地处理，根本不上云。这件事对很多用户来说不是加分项，是底线。 成本、速度、边缘部署，这是小模型的价值。 5 讲完小模型的价值，接下来一个更关键的问题是，能力被压到这么小的参数里，会不会有上限？ Demis 的判断是，目前没看到信息密度有任何理论上限。小模型的智能天花板还远没看到。 支撑这个判断的，是 DeepMind 在蒸馏这件事上的积累。蒸馏简单说就是先训练一个超大的模型，然后用这个超大模型去教一个小模型。教完之后，小模型用极少的参数，能复现原来 95% 以上的能力。 为什么 DeepMind 这么重视蒸馏？因为要把 AI 能力放进谷歌的头部产品中，前提是低延迟、低成本。前沿模型再强，每次推理花几秒钟、花几毛钱...这条路，恐怕很难走得通。 一个前沿模型发布之后，6 到 12 个月内，他们就能把这个模型的能力蒸馏到边缘设备能跑的小模型上去。这个时间表比很多人想的要快。 在很多场景中，小模型和大模型会相互配合。 举个例子，一个端到端的智能助手，绝大部分日常任务在本地的小模型上跑。智能眼镜看到的画面、家里机器人听到的对话、手机里的私人助理，模型直接在设备里读懂，不需要往云端传一遍。 只有遇到特别复杂、本地搞不定的问题，才向云端的前沿模型发起请求。 也就是说小模型在边缘做主力，前沿模型在云端做后援。 不过，这个构想对小模型的要求也比较高，它不能只会处理文字，还得能理解物理世界。 这就是为什么 Gemini 从一开始就坚持多模态，不光处理文字，也处理图像、视频、声音。 一开始这么做比只做文本要难得多，但眼镜也好，机器人也好，需要的是一个能看懂周围世界的模型，不是一个只会聊天的模型。 讲到这里，小模型这条路的轮廓就完全清楚了。它独立成立，不是前沿模型的廉价替代品，而是另一条同样重要的路。 嗯，很有启发。

很多人可能还没意识到，中国大模型其实已经进入了一段尴尬期。 什么叫尴尬期呢？ 你如果养过猫，尤其是布偶这种猫，应该知道它从小长大的时候，会经历一段尴尬期。 旧毛掉了，新毛还没完全长出来，看起来多少有点别扭。 但再过一段时间，等新毛长齐了，漂亮的那个状态又会回来。 我觉得现在国内大模型差不多就是这个阶段，核心主要是有三个问题。 第一个，就是模型越训越大，但训练算力开始有点跟不上了。 现在大家都在往更大的模型走，5T、8T、10T 这种规模也开始被摆到台面上。 比如阿里在本次的云栖大会上提到，未来可能会训练 5T 到 10T 参数规模的模型。 Kimi、GLM 也都在继续往更大规模走。 但问题是，模型规模可以继续往上加，训练卡没有那么容易增加。 大家都知道 Scaling 还没有完全走到头，但在国内，算力确实已经越来越容易变成一个现实限制。 第二个是推理，或者说模型上线之后怎么稳定提供服务。 之前梁文锋在那个所谓流出的DeepSeek投资人会议纪要里也提到过，国内之前为什么很多 MoE 模型会把激活参数控制在几十 B，一个重要原因就是推理资源。 因为模型训出来是一回事，能不能长期、稳定、大规模地给用户用，是另外一回事。 虽然那个会议纪要出来之后，Kimi 也发了 K3 这种2.4T参数的模型，但这个问题还是没有被缓解。 一些新模型（就比如K3还有刚发的Step5Preview）刚上线的时候速度很好，但很快可能就会遇到限速、排队、额度收紧之类的情况。 这说明推理算力的问题其实还没有完全解决。 我们的团队们很难像 OpenAI 那样，时不时直接给用户 reset 一轮额度。 因为模型越大，每多放一点额度，背后都对应着真实的推理成本。 第三个，就是价格和定位的问题。 模型越做越大，推理成本越高，价格自然也很难一直维持在原来的水平。 但国内模型之前比较明显的两个优势，一个是开源，一个是性价比。 所以如果价格慢慢往上涨，就会出现一个新的问题： 如果价格差距越来越小，那用户为什么一定要选择国内模型？ 尤其到了 Agent 时代，一次任务消耗的 Token 可能会比普通聊天高很多，价格会变得比以前更敏感。 最后很可能还是会回到一个很朴素的问题：效果差不多的情况下，谁便宜就用谁。 那就会有人选择赔本赚吆喝喽，当然我没有特指某些模型哈。 包括 DeepSeek 自己，其实也经历过价格调整。 所以我觉得，国内大模型现在确实处在一个比较微妙的阶段。 模型做大之后，推理算力又会成为新的限制。 推理成本上升之后，价格也需要调整，但价格一上去，又会影响原本的性价比优势。 有点像猫长大的尴尬期。 旧毛已经开始掉了，新毛还没有完全长出来。 接下来这段时间，得看国内厂商怎么把这几个问题一起解决掉（下一条我会聊这个）。

先说重点：阿姆斯特丹这场测试，并不是小鹏完胜，短途客场实测只能算打平。何小鹏自己也提到，窄路人车博弈，像广州城中村这类场景，VLA2.0要强于特斯拉，但这里有过拟合的风险。 特斯拉神经网络是全球海量道路训练出来的，泛化能力更强。碰到陌生路段，FSD会像人一样推理、保守通行，优先保证安全。新华社和德国车主André同路段测试，评价是二者水平接近。窄路施工绕行小鹏更果断，环岛一把过，FSD偏保守甚至倒车两次。 单一场景说明不了谁更强，要比高速、雨夜、长途、接管率，还要控制车流变量。FSD在荷兰跑了18个月，4万台车子累计2400万公里。FSD还没正式进国内，两者根本不在同一个赛场，等FSD落地国内，再来对比强弱。

今天有个搞Infra的小男娘发消息跟我说 这是他成年以来最好的秋天 这一年他终于找到了做推理优化的工作 每天和GPU、Kernel、MoE、KV Cache打交道 以前想研究DeepSeek的推理系统，只能对着论文、技术博客和Benchmark，一点点猜他们线上到底是怎么跑的 今天DeepSeek突然把DeepInfer开源了 分布式推理、推测解码、SWA Bounded Replay，连调度器和高性能算子都放出来了 英伟达和华为昇腾都支持，连生产级的Token编解码组件也一起开源 过去要花几个月研究的东西，现在直接就能在GitHub上看源码 今天下午他坐在工位上 突然整个Infra群都沸腾了 所有人停下手头的调参，开始疯狂Clone仓库 有人在看Kernel，有人在研究调度器，还有人在讨论怎么把公司祖传的推理框架换掉 他说很开心 有种人类Infra黄金时代的错觉

给负责猜词的小模型删掉记忆，它反而猜得更准了。 上交一个团队的新论文 DLite，讲的就是这件事。 先说背景。 现在大模型推理加速有个主流做法，叫投机解码： 先让一个小模型快速猜几个词，再让大模型一次性检查，猜对的直接收下。 猜对的越多，跑得越快。 问题出在 Agent 上。 Agent 干活时，上下文又长又一直在变，还要来回很多轮。 这个团队测了一下，现有的小模型到了这种场景，一次能猜对的长度最多会掉 80%。 小模型还得自己维护一份历史缓存，这又是一笔系统开销。 两个问题，根子是同一个：历史越来越长。 他们的做法挺干脆的。 小模型干脆不存历史。 反正大模型已经把前面全读过了，就直接拿它内部的状态来用，小模型只看眼前这一小段，猜接下来几个词。 一个越来越难的长程建模问题，就这样被换成了一个局部的简单预测问题。 另外加了一个很轻的小模块，把这几个词之间的先后关系补回来。 结果是一次能猜对 2 到 6 个词，最多比之前最强的方法 DSpark 高出 70%。 我觉得这玩意值得看的地方主要是方向。 Agent 越来越能干，任务越跑越长，速度和成本会是很实在的卡点。 大家的第一反应通常是塞更多上下文、给更大的记忆。 这篇反着来：既然已经有人记住了，另一个就别再背一遍。 当然，这些都是论文里的数字，实际能快多少还要看具体模型和场景。 代码和权重都放出来了，感兴趣可以自己跑跑。 我打算把这招用到开会上：前面两小时不听，只看老板最后一句话时的表情，猜他到底要什么。 要是猜错了，大概就轮到我被大模型拒收了。

📽️ 好猛，MAGI-1 能把一张图续成物理上说得通的视频，权重和推理代码全开源。 MAGI-1 在 GitHub 上 3700+ star，出自 Sand AI。创始人曹越是 Swin Transformer 的核心研究者，那篇论文拿过 ICCV 2021 最佳论文（马尔奖）。 很多视频模型一到"东西掉下来、水倒出去"这种物理场景就露馅。MAGI-1 换了个思路：按 24 帧一块、一块接一块往下生成，前面的画面决定后面的走向，所以能流式生成，也更像在"续写"真实世界。在 Physics-IQ 的图生视频评测里，24B 版本拿到 30.23，高于表里 Kling1.6 的 23.64。 文生视频、图生视频、视频续写三种用法都有。门槛也说清楚：4.5B 小模型一张 RTX 4090 就能跑，24B 完整版推荐 8 张 H100，Apache 2.0 许可。 想在本地玩视频生成的，MAGI-1 值得收藏。 GitHub：

不是聊天機器人，是會「拍板」的小模型 🧠⚡ Laya 不寫文、不推理長篇。你丟一段現況＋幾個明確問題（選哪個、急不急、是不是），它一次推論就給出帶機率的答案。 筆電大約 20–30 毫秒，一個 token 都不生成，資料也不出門。 跟生成式 LLM 差在哪？ 🔹 LLM（System 2 那種用法）：一段一段吐字，擅長寫、解釋、規劃，但慢、貴、答案還要再解析 🔹 System One 決策模型：不聊天，只做判斷。一次前向傳播，直接回傳「選項／分數／是或否＋機率」 🔹 簡單講：LLM 負責想清楚再說話；Laya / Jev 負責先快速分流、打分、擋風險 跟 TypeSafe Jev 差在哪？ 🔹 做的事很像，都不是生成模型 🔹 Jev：閉源雲端 API，複雜題通常更準，但資料要出門、要錢、要等 🔹 Laya：Apache-2.0 開源、本機跑、免費、可微調；簡單題能打，題一繞、選項一多就容易掉準度 這是新主流嗎？還沒。 比較像新一層基建：把「要不要升級給大模型」這件事，從每次都呼叫 LLM，改成先用超快的決策模型擋一層。寫作、推理還是 LLM；路由、審核、急迫度、遊戲裡下一秒怎麼動，才是這類模型的場。 想試：pip install laya 看它打遊戲： 模型：

我发现，人类其实就是一种本地小模型，参数量非常小，大概只有 2B。 虽然我们拥有 860 亿个神经元，但日常真正调用的只是其中很少一部分。算力峰值忽高忽低，非常不稳定。 可以瞬间分析出今天谁想害你，但让你计算 12345 × 54321，哈哈哈，直接就卡机了。 预训练通常无法收敛。今天相信科学，明天求神拜佛；早上说要自律，晚上却躺平刷剧，永远在收敛和发散之间反复横跳。 多任务并行？人类应该是真正意义上的单核单线程吧。 嘴上说能一边听歌、一边做事、一边回消息，实际上只是注意力在疯狂进行上下文切换，切换的时候还经常丢包。 联网搜索？哦，没有这个能力。属于纯本地、离线推理模型，主要依赖静态知识库。 不过，语言、书籍和互联网可以算是我们的外挂，只是延迟通常比较高，很多时候还需要通过问别人来完成路由。 至于思维链，通常又长又容易跑偏。经常通过发散性思维进行路径探索，同时还夹杂着大量噪声分支。 微调成本高得离谱，而且特别容易失败。食物、睡眠和情绪价值都可能影响微调效果。有时还会过拟合某一句鸡汤，然后在很长一段时间里，把它当成人生哲理。 知识截止日期？没有明确的截止日期，而且每天都在接收新的垃圾信息。 比如刷到的无脑短视频、和朋友聊的八卦，以及论坛里的各种帖子。每天接收到的信息中，有效内容可能连 1% 都不到。 能耗管理采用的是极端省电模式，代价是每天必须强制关机 4～8 个小时来清理缓存，否则很可能直接黑屏。 这样说起来，人类似乎确实不太好用啊。