DeepSeek火出圈的这十几天，其实也是噪音最多的一段时间，说实话大部分的讨论成品都有种加班硬赶KPI的味道，是人是鬼都在掰扯，有留存价值的屈指可数，倒是有两期播客让我听后受益匪浅，非常推荐。 一个是张小珺请来加州伯克利大学AI实验室博士潘家怡对DeepSeek论文的逐句讲解，接近3个小时的高密度输出，非常能杀脑细胞，但杀完之后分泌出来的内啡肽，也含量爆炸。 另一个是Ben Thompson关于DeepSeek的3集播客合集，加起来1个多小时，这哥们是News Letter的开创者，也是全球最懂技术的分析师之一，常年旅居台北，对中国/亚洲的近距离洞察比美国同行要高很多。 先说张小珺的那期，嘉宾潘家怡当时是在读完DeepSeek的论文之后，最快开发出了小规模复现R1-Zero模型的项目，在GitHub上已经接近1万Stars。 这种薪火相传式的知识接力，其实是技术领域理想主义的投射，就像月之暗面的研究员Flood Sung也说，Kimi的推理模型k1.5最初就是基于OpenAI放出来的两个视频得到了启发，更早一点，当Google发布「Attention Is All You Need」之后，OpenAI立刻就意识到了Transformer的未来，智慧的流动性才是一切进步的先决条件。 所以大家才对Anthropic创始人Dario Amodei那番「科学没有国界，但科学家有祖国」的封锁表态大为失望，他在否定竞争的同时，也在挑战基本常识。 继续回到播客内容上，我还是试着划些重点出来给你们看，推荐有时间的还是听完原版：（1/n）

强烈推荐大家看看DeepMind CEO Demis的最新判断。 真的，Google DeepMind 的 CEO Demis Hassabis 每一期访谈我觉得值得都花时间看看。这哥们讲东西很实在，而且通俗易懂。 早上边跑步边听完了他和 YC CEO Garry Tan 的最新一期播客。 刚刚把笔记写完，也给大家分享下。 多说一句，好多人问我这种笔记是不是 AI 写的。我说下自己的流程。 我会先完整听完播客，然后用语音输入法把感触尽量充分地讲出来，再让 AI 帮着整理初稿，最后自己逐字修改优化。 如果全部交给 AI 做总结，那等于把思考和理解的能力让渡给了 AI，对自己理解这件事其实没有任何价值。 OK，咱们进正题。 1 Demis 的态度非常明确，现在的大模型范式（大规模预训练 + RLHF + CoT）一定会是 AGI 最终架构的一部分，他不认为这会是条死路。 但要实现 AGI，还有几个关键问题要解决。这几个问题包括：持续学习、长程推理和记忆系统。 先从最容易看到的现象讲起，Context Window。 现在大模型处理长信息，最常用的招就是把 Context Window 一直撑大。一开始 8k，后来 32k，再后来 100 万 Token。听起来很厉害，但本质上是暴力堆砌。 Context Window 其实就相当于人脑里的 Working Memory，工作记忆。人的工作记忆能同时装多少东西？心理学里有个经典数字，7 个左右。背电话号码能记住 7 位上下，再多就溢出了。 大模型呢？已经做到 100 万 Token。 按理说，模型的工作记忆比人大几十万倍，应该比人聪明几十万倍才对。但显然不是。 问题也恰恰就出现在这。把所有东西都塞进 Context Window 里，里面包含了不重要的东西、错的东西、过时的东西。看起来信息很多，其实是一团乱麻。 那人为什么 7 个数字的工作记忆就够用？ 因为人脑背后还有另一套机制在工作。我们记得几年前的事，记得童年的事，记得几小时前发生的事。这些都不塞在工作记忆里，而是另一套系统。 具体来说这套系统是海马体，大脑里负责把新知识整合进已有知识库的那个部分。 研究发现，人睡觉的时候，特别是 REM 睡眠阶段，大脑会重放白天重要的片段，让大脑从中学习。新东西在睡觉的过程里，温柔地融进了旧的知识体系。 这个把新东西融进旧知识库的过程，就是持续学习。 模型现在没有这套机制。每一次对话结束，刚学到的东西就会忘记。下次重新打开，还是上次那个模型，没长进。 2 再聊聊长程推理的问题。英文表达是 Long-term Reasoning。我翻译为了长程。 长程推理这个词太抽象了。Demis 讲了一个特别具体的故事，听完会立刻明白他说的是什么。 他说自己喜欢跟 Gemini 下国际象棋。下棋的过程里能看到模型的 thinking trace，也就是它在那里到底想了什么。 然后他发现一件怪事。 模型考虑一步棋的时候，思考链里清清楚楚写着，这步是个昏招。但接下来，它没找到更好的走法，于是又走回这步昏招。 明明知道是错的，还是把错的那一步走出去了。 这个细节比任何 benchmark 数据都说明问题。因为它暴露的是模型缺少对自己思考过程的某种内省能力。 正常人下棋，意识到一步是昏招之后，脑子里会有一个反应，停一下，再想想。停一下、再想想这个能力，模型现在没有。它能在每一步局部判断对错，但没法基于整盘棋的局势去调整整体策略。 这就是长程推理还没搞定的样子。模型可以一步一步往前走，每一步看起来都合理，但走到后面整盘棋的方向其实是错的。它没有那种退回到当前思考的上一层、重新审视一下的能力。 说到底，模型缺的是一种内省。 3 学习、长程推理、记忆，这是 Demis 在播客里点出来的三个 AGI 鸿沟。 除此之外，他还反复提到了创造力。 2016 年 AlphaGo 跟李世石下棋，第二局走出了著名的 Move 37。那一步棋走出来的瞬间，全世界的围棋高手都看呆了。 所有人类几千年下围棋积累的经验都告诉它不该下那里，但 AlphaGo 下了。下完之后大家发现，是一步神来之笔。 很多人觉得，这就是 AI 的创造力来了。 但 Demis 说，对他自己来说，Move 37 只是起点。他真正想看到的是另一件事。AI 能不能发明围棋这件事本身。 这两件事的区别非常关键。 Move 37 是在围棋这个现成的规则里，找到了一步人类没想到的招。但围棋的规则、棋盘的形状、黑白子的对弈方式，是人类发明出来的。AI 在已有的框架里非常厉害，但能不能自己造一个框架，是另外一回事。 Demis 给了一个具体的设想。 如果给 AI 一个高层次的描述。造一个游戏，五分钟能学会规则，要好几辈子才能精通，棋局有审美，一下午能下完一局。AI 能不能根据这个描述，自己倒推出围棋？ 目前做不到。 为了把这件事讲得更清楚，Demis 还提了一个测试，他自己叫爱因斯坦测试。 用 1901 年人类已有的全部知识训练一个模型，看它能不能在 1905 年那个时间点，自己推出狭义相对论。 爱因斯坦在 1905 年那一年里，连写了几篇改变物理学的论文，后来叫爱因斯坦奇迹年。那些工作不是从已有的物理学论文里通过拼接得到的，是基于已有材料做了一次全新的概念跳跃。 爱因斯坦测试想问的就是这件事。AI 能不能做这种跳跃。 目前的大模型主要在做两件事，pattern matching 和 extrapolation。一个是从大量数据里找规律，一个是把规律往外延伸一点。但发现新东西需要的是类比推理的能力。从一个领域里抽出深层结构，搬到另一个全新的领域去用。 这个能力，模型现在还没有。也可能是有，但用法不对所以激发不出来。 4 除此之外，Demis 还分享了一个让我特别出乎意料的判断，他说未来 6 到 12 个月，真正的价值不在更大的模型，在更小的模型。 这一部分内容我反复听了好几次，确实突破我的已有认知。 不知道大家的想法，反正我自己，这一年来并没有怎么关注小模型的进展。毕竟行业的焦点就是把模型做大嘛。 那小模型的价值到底在哪？ 最直接的是成本。同样一个任务，小模型的推理价格可能只是前沿模型的十分之一甚至更少。 但 Demis 说，比成本更重要的其实是速度。 这里有一个前提得先说清楚。Demis 不是在说速度可以替代智能。 他的原话是，当小模型的能力已经达到前沿模型的 90% 到 95%，也就是已经相当不错的时候，剩下那 5% 到 10% 的能力差距，比不上速度带来的好处。 比如现在工程师用 AI 写代码，已经形成了一种新的工作节奏。一个想法冒出来，几秒之内就能看到结果，不行就改，再不行再改。 这个一改再改的循环跑得越快，做出来的东西就越好。如果每次调用都要等十秒，整个工作流就被打断了。 更关键的是，快到一定程度，工程师在这种节奏里能进入心流。一个想法、一次尝试、一个反馈、再来一个想法，思维不被打断。 这件事写过代码的人都懂，进入心流和频繁掉出心流，产出的差距是数量级的。 Agent 也是同样的逻辑。一个 Agent 跑完一个任务可能要调几十次模型，每次慢一秒，整个任务就慢一分钟。慢到一定程度，Agent 就从一个能用的东西变成鸡肋。 小模型不是大模型的廉价替代品。有些事只有小模型能做。 比如手机、眼镜、家用机器人，需要的就是一个能在本地跑起来的模型。本地跑除了反应快，还有一个特别重要的好处，隐私。 家里机器人看到的视频、听到的对话，全部在设备本地处理，根本不上云。这件事对很多用户来说不是加分项，是底线。 成本、速度、边缘部署，这是小模型的价值。 5 讲完小模型的价值，接下来一个更关键的问题是，能力被压到这么小的参数里，会不会有上限？ Demis 的判断是，目前没看到信息密度有任何理论上限。小模型的智能天花板还远没看到。 支撑这个判断的，是 DeepMind 在蒸馏这件事上的积累。蒸馏简单说就是先训练一个超大的模型，然后用这个超大模型去教一个小模型。教完之后，小模型用极少的参数，能复现原来 95% 以上的能力。 为什么 DeepMind 这么重视蒸馏？因为要把 AI 能力放进谷歌的头部产品中，前提是低延迟、低成本。前沿模型再强，每次推理花几秒钟、花几毛钱...这条路，恐怕很难走得通。 一个前沿模型发布之后，6 到 12 个月内，他们就能把这个模型的能力蒸馏到边缘设备能跑的小模型上去。这个时间表比很多人想的要快。 在很多场景中，小模型和大模型会相互配合。 举个例子，一个端到端的智能助手，绝大部分日常任务在本地的小模型上跑。智能眼镜看到的画面、家里机器人听到的对话、手机里的私人助理，模型直接在设备里读懂，不需要往云端传一遍。 只有遇到特别复杂、本地搞不定的问题，才向云端的前沿模型发起请求。 也就是说小模型在边缘做主力，前沿模型在云端做后援。 不过，这个构想对小模型的要求也比较高，它不能只会处理文字，还得能理解物理世界。 这就是为什么 Gemini 从一开始就坚持多模态，不光处理文字，也处理图像、视频、声音。 一开始这么做比只做文本要难得多，但眼镜也好，机器人也好，需要的是一个能看懂周围世界的模型，不是一个只会聊天的模型。 讲到这里，小模型这条路的轮廓就完全清楚了。它独立成立，不是前沿模型的廉价替代品，而是另一条同样重要的路。 嗯，很有启发。

我发现，人类其实就是一种本地小模型，参数量非常小，大概只有 2B。 虽然我们拥有 860 亿个神经元，但日常真正调用的只是其中很少一部分。算力峰值忽高忽低，非常不稳定。 可以瞬间分析出今天谁想害你，但让你计算 12345 × 54321，哈哈哈，直接就卡机了。 预训练通常无法收敛。今天相信科学，明天求神拜佛；早上说要自律，晚上却躺平刷剧，永远在收敛和发散之间反复横跳。 多任务并行？人类应该是真正意义上的单核单线程吧。 嘴上说能一边听歌、一边做事、一边回消息，实际上只是注意力在疯狂进行上下文切换，切换的时候还经常丢包。 联网搜索？哦，没有这个能力。属于纯本地、离线推理模型，主要依赖静态知识库。 不过，语言、书籍和互联网可以算是我们的外挂，只是延迟通常比较高，很多时候还需要通过问别人来完成路由。 至于思维链，通常又长又容易跑偏。经常通过发散性思维进行路径探索，同时还夹杂着大量噪声分支。 微调成本高得离谱，而且特别容易失败。食物、睡眠和情绪价值都可能影响微调效果。有时还会过拟合某一句鸡汤，然后在很长一段时间里，把它当成人生哲理。 知识截止日期？没有明确的截止日期，而且每天都在接收新的垃圾信息。 比如刷到的无脑短视频、和朋友聊的八卦，以及论坛里的各种帖子。每天接收到的信息中，有效内容可能连 1% 都不到。 能耗管理采用的是极端省电模式，代价是每天必须强制关机 4～8 个小时来清理缓存，否则很可能直接黑屏。 这样说起来，人类似乎确实不太好用啊。

DeepSeek 最新论文DSpark：让大模型说得更快 解决核心问题： 大模型生成文字像一个人写作文，必须一个字一个字地写，速度很慢。推测解码的思路是：先让一个小助理快速写一段草稿，再让主角（大模型）一次性检查整段，对的保留、错的纠正。 但现有方案有两个毛病： 1、小助理写的后半段经常跑偏。比如它想写of course，但of和course是各猜各的，结果可能拼出of problem，越往后越离谱。 2、检查浪费严重。明知道后半段大概率不对，还一个个去验证，白白浪费算力。 DSpark 的两个妙招 妙招一：边写边看前面写了什么 小助理写草稿时，前面的部分用并行快速生成（像打字机一次出一片），但从第二个字开始，用一个极轻量的模块看看前一个字是什么再写下一个。比如看到前面写了of，就自动偏向course而抑制problem。 这个看一眼的代价极低，只多了约 1% 的时间，但草稿质量大幅提升。 妙招二：不靠谱的就不查了 给草稿每个位置打个信心分。比如写代码，前几个字信心很高（0.95），可以放心验证；写闲聊时后几个字信心很低（0.3），就直接砍掉不查。 论文里有个直观数据：闲聊场景下，原来只有 45.7% 的草稿被接受，用了信心调度后跳到 95.7%，少做了一半多的无用功。 效果如何？ 在 DeepSeek-V4 真实生产环境中： - 用户感知的生成速度提升了 60%-85% - 高并发时不再卡死，此前达不到的服务等级现在可以做到了 - 额外延迟开销仅 1%-2% 打个比方：原来一个 GPU 能同时服务 100 个用户且体验流畅，现在同样的硬件可以服务 160-185 个用户。 为什么重要？ 这篇论文不只是一个算法技巧，是把草稿质量和系统调度打通了。就像餐厅不光要菜做得好（草稿质量高），还要会排号（智能调度验证顺序），两者结合才能让翻台率最大化。 DeepSeek 还开源了代码和模型，其他团队可以直接拿来用或改进，这对整个大模型推理加速领域是实打实的推动。

Google 和腾讯在模型上做了一个几乎一样的动作，小模型、效率、推理速度、低成本、嵌入生态，注重智能密度而非智能上限。 Google 这波发了三款，主角是 Gemini 3.6 Flash。腾讯那边是 7 月 6 号正式发布的混元 Hy3。两边都没去卷最贵的旗舰。Google 的 3.5 Pro 到现在还没公开，Bloomberg 说内部编码基准没达标。腾讯的 Hy3 是 295B 总参数、只激活 21B 的 MoE，每次推理只烧 7% 的算力。 这就很有意思了 3.6 Flash 输出价从 9 美元降到 7.5 美元，速度从 165 tokens/s 干到 304 tokens/s，快了近一倍。智能指数还是 50，但用的 token 更少，同套评测账单从 1 041 美元掉到 727 美元，少了三成。Hy3 更狠，办公 Agent 任务解决率从 72% 拉到 90%，做文档省 47.4% 的 token，做 PPT 省 49.0%。 现在这两家压根不想比谁模型更聪明。他们在抢一个更值钱的东西：默认入口。 智足够用就行，真正值钱的是把模型塞进用户已经在用的产品里。Google 有 Copilot、Workspace、Antigravity。腾讯有微信、元宝、WorkBuddy、腾讯文档、游戏。你在 WorkBuddy 里用 Hy3 跑工作流，在元宝里一句话生成 PPT，这套体验离开腾讯生态就没了。Google 把 Flash 嵌进 Copilot，全球开发者写代码就在用。 有分发渠道的平台方，最优策略不是登顶排行榜，还有让自家模型成为用户不假思索的默认选项。智能正在变成商品，整合才是壁垒。 对独立模型厂商来说这很难受，竞争同质化，替代成本太低。分数再高没用，高级用户有限，普通用户根本不切换，普通工作换模型区别也不大。除非在某个垂直能力上做到明显领先，否则突破不了平台锁定。 接下来一年，胜负手不在模型参数，在 Agent 稳态。谁的多步长链路工作流更稳、更省、更不出错，谁就赢。掌握流量入口的 Google和腾讯路子走对了，商业化会走更加顺畅

字节正在讨论要训练一个参数规模超过5万亿的模型，也就是说超过阿里的 Qwen 3.8-Max（2.4 万亿参数）和月之暗面的 K3（2.8 万亿参数），是目前国内已知参数规模最大的模型。 这是天大的好事啊！说明中国AI已经开始重新进入scaling竞争了，过去一年都是美国靠算力，中国靠效率，比如 DeepSeek 强调低成本训练，比如搞搞蒸馏、搞搞小模型，走高性价比路线，比如采用 MoE 架构降低推理成本这些 字节这个行为说明，中国头部公司并没有放弃大规模scaling，要在效率优先之外重新追求绝对规模。或许是因为原来算力不足，所以研究怎么用更少算力达到更好效果。但现在货拖得差不多了，在资源允许的情况下，咱们也要挑战最大规模模型了！

有个事我憋很久了，今天必须说一下。 市面上那些标榜 AI 驱动交易的 Bot，我深度用过几款之后发现一个特离谱的现象：它们所谓的 AI 就是接了一个 GPT 或者 Claude 的 API，把 K 线数据原封不动丢进去，让一个从来没被训练过理解金融时间序列的通用模型给你输出买卖建议。说难听点，跟拿 ChatGPT 算命没什么区别。 所以 @0x_aix 的多模型路由方案，是我接触这个项目之后第一个真正觉得"方向对了"的设计。 它同时接了 GPT、Claude、DeepSeek R1、Gemini 这些通用模型，也集成了 Kronos 这类专门为金融预测训练的专业模型。中间多了一层调度层，根据当前市场状态智能路由，震荡市用一套推理框架，单边趋势切另一套算法组合。 这个设计的聪明之处在于它承认了一个很朴素的事实：没有一种模型能在所有行情里通吃。趋势跟随在单边市是神，进了震荡就是来回止损。反过来网格在震荡舒服，单边一来直接穿仓。通用大模型做策略意图理解很强但看 K 线的能力确实有限，专用金融模型在时序预测上更精准但没办法理解你用自然语言描述的策略逻辑。没有一个模型能同时搞定所有事。 AIX 干的事不是选一个最强的模型然后迷信它，而是让不同模型在不同环节轮班上岗，动态调权重。这个思路在传统量化里叫多因子动态权重，AIX 把它搬到了 LLM 和时序模型的协同上。 我体验下来的感受是它不像那种一问一答的 Bot，更像有一个小团队在后台协作，你只需要给方向，它自己去协调谁干什么。这个架构如果跑通，抗单一模型失效的能力跟那些只接一个 API 的项目不在一个数量级。 个人分享，非投资建议。

长鑫上市，A股即将迎来自己的海力士 如果说今年 A 股最强的主线是什么，毋庸置疑——科技。 从 AI 算力、PCB、CPO，到半导体设备、存储芯片，今年大量科技股都走出了远超指数的行情，背后的核心逻辑其实只有一句话： 全球 AI 竞赛，正在重塑整个半导体产业链。 而最近，国产存储龙头长鑫科技上市迎来关键进展，无疑又给这条主线添了一把火。 长鑫上市，为什么市场反应这么大？ 因为它补上的，是中国半导体产业最重要的一块拼图之一。 正所谓，短期缺算力，长期缺电力，永远缺存储🤪 AI 大模型训练、推理、数据中心、服务器，本质上都需要大量 DRAM 和高带宽存储（HBM）作为支撑。 而长鑫，就是国内 DRAM 的核心玩家。 它的上市，不只是多了一家大公司，更意味着国产存储产业开始进入资本市场的新阶段。 更重要的是，它会带动整个产业链。 从晶圆制造、刻蚀设备、薄膜沉积，到检测设备、封装测试、材料供应商，都有机会随着国产扩产继续受益。 今年大家看到很多半导体设备公司持续走强，本质上也是市场在提前交易这一逻辑。 事实上，今年半导体板块本身就已经成为 A 股最强势的方向之一。 数据显示，仅今年 5 月，申万半导体板块上涨约 18.4%，同期美国费城半导体指数上涨超过 22%，全球资金都在重新定价 AI 半导体产业链。 而随着长鑫 IPO 推进、长江存储启动上市辅导，市场对于国产存储产业链的估值重估预期进一步升温。 当然，这并不意味着半导体会一直涨。 科技板块本身就是高波动行业，涨得快，调整往往也会很剧烈。 但如果把时间拉长来看，你会发现真正推动行情的，从来不是情绪，而是产业趋势。 过去几年是 AI 算力。 现在开始逐渐扩散到存储、先进封装、半导体设备等基础设施。 资金炒作的对象会不断变化，但AI 带来的底层需求，并没有结束。 所以我一直觉得，与其天天猜下一只翻倍股，不如先看懂资金为什么愿意持续流入这个行业。 长鑫上市，或许只是国产半导体进入新阶段的开始。 真正值得关注的，不只是长鑫本身，而是它背后整个国产存储产业链，以及 AI 浪潮下持续升级的中国科技制造能力。 关注我，为你带来更多小白也能看懂的投资科普🤓长鑫上市，A股即将迎来自己的海力士 如果说今年 A 股最强的主线是什么，毋庸置疑——科技。 从 AI 算力、PCB、CPO，到半导体设备、存储芯片，今年大量科技股都走出了远超指数的行情，背后的核心逻辑其实只有一句话： 全球 AI 竞赛，正在重塑整个半导体产业链。 而最近，国产存储龙头长鑫科技上市迎来关键进展，无疑又给这条主线添了一把火。 长鑫上市，为什么市场反应这么大？ 因为它补上的，是中国半导体产业最重要的一块拼图之一。 正所谓，短期缺算力，长期缺电力，永远缺存储🤪 AI 大模型训练、推理、数据中心、服务器，本质上都需要大量 DRAM 和高带宽存储（HBM）作为支撑。 而长鑫，就是国内 DRAM 的核心玩家。 它的上市，不只是多了一家大公司，更意味着国产存储产业开始进入资本市场的新阶段。 更重要的是，它会带动整个产业链。 从晶圆制造、刻蚀设备、薄膜沉积，到检测设备、封装测试、材料供应商，都有机会随着国产扩产继续受益。 今年大家看到很多半导体设备公司持续走强，本质上也是市场在提前交易这一逻辑。 事实上，今年半导体板块本身就已经成为 A 股最强势的方向之一。 数据显示，仅今年 5 月，申万半导体板块上涨约 18.4%，同期美国费城半导体指数上涨超过 22%，全球资金都在重新定价 AI 半导体产业链。 而随着长鑫 IPO 推进、长江存储启动上市辅导，市场对于国产存储产业链的估值重估预期进一步升温。 当然，这并不意味着半导体会一直涨。 科技板块本身就是高波动行业，涨得快，调整往往也会很剧烈。 但如果把时间拉长来看，你会发现真正推动行情的，从来不是情绪，而是产业趋势。 过去几年是 AI 算力。 现在开始逐渐扩散到存储、先进封装、半导体设备等基础设施。 资金炒作的对象会不断变化，但AI 带来的底层需求，并没有结束。 所以我一直觉得，与其天天猜下一只翻倍股，不如先看懂资金为什么愿意持续流入这个行业。 长鑫上市，或许只是国产半导体进入新阶段的开始。 真正值得关注的，不只是长鑫本身，而是它背后整个国产存储产业链，以及 AI 浪潮下持续升级的中国科技制造能力。 关注我，为你带来更多小白也能看懂的投资科普🤓

投机解码的 drafter 从来都是一个 token 一个 token 地猜。做出 DFlash 的推理公司 Inco AI 说这没必要：正确的 token 本来就在候选列表里，整块并行预测之后挑出一条连贯路径，输出不变，每次验证多赚一个完整的 token。 《DFlash 2：保持并行起草》 推理是 agent 时代的瓶颈。agent 会读、会规划、会调用工具，常常一跑就是几小时甚至几天。它们消耗 token 的速度，是聊天场景从未达到过的。而每一个 token 都要在模型上跑一次完整的前向传播。在 Inco AI，我们在构建一套面向未来 token 经济学的推理栈。这篇文章是一次预览。 我们的团队 1 月发布了 DFlash（论文： SGLang、vLLM、TensorRT-LLM 和 llama.cpp 里。NVIDIA 在 Blackwell GPU 上用它测到了最高 15 倍的吞吐；Google 报告在 TPU 上每秒 token 数提升 3 倍；CoreWeave 生产环境的 Kimi K2.7 Code 端点（Artificial Analysis 上该模型最快的端点）默认就跑 DFlash。生态已经在它之上构建：NVIDIA、Red Hat、Modal 都发布了 DFlash drafter；Meta（Muse Glimmer）、Poolside（Laguna）、小米（MiMo-V2.5-Pro）、NVIDIA（Nemotron 3.5 Lightning）随自家模型发布官方 drafter。在 Hugging Face 上，DFlash 模型被下载了超过 350 万次（截至 2026 年 8 月）。 投机解码是现代推理栈的核心组件之一。一个小 drafter 模型猜出一整块 token，目标模型在一次前向传播里验证整块。猜得好，一次前向变成多个 token；猜得差，丢掉重来。但多年来，起草本身一直是自回归的：一次一个 token。DFlash 让它也变成了一次通过：整块、每个位置，并行预测。 （演示视频：DFlash 2 在 Apple M5 Max 上用 oMLX 为 Qwen3.8-27B 起草，与自回归解码并排对比。 DFlash 2 把并行起草又往前推了一步：每次验证通过多产出 20% 以上的输出，增加的周期延迟只有约 1%，而输出可证明不变。跨基准测试的增益在 16–25%。配合今天发布的 Qwen3.8-27B drafter，SGLang 在 batch size 1 下达到自回归解码 2.7–3.4 倍的吞吐。每个位置独立预测，留下两处空间：选对 token，以及在块的末尾守住准确率。DFlash 2 把这两处都拿了回来，同时没有放弃一次性通过的设计。 现在就能跑 DFlash 2 已经跑在主流推理引擎里。 SGLang： pip install -U "sglang[all] @ git+" python -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --speculative-algorithm DFLASH \ --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \ --speculative-num-draft-tokens 8 vLLM： pip install -U "vllm @ git+" vllm serve Qwen/Qwen3.8-27B \ --speculative-config '{ "method": "dflash", "model": "incoai/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7 }' llama.cpp： git clone cd llama.cpp git fetch origin pull/27342/head:pr-27342 git switch pr-27342 NVIDIA CUDA cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON cmake --build build -j Apple Silicon cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON cmake --build build -j ./build/bin/llama-server \ -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \ -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \ --spec-type draft-dflash \ --spec-draft-n-max 7 oMLX：下载安装支持 DFlash 2 的预构建版（ 在 oMLX 里跑 Qwen3.8-27B 加 DFlash 2： 1. 打开 oMLX 的 Model Downloader，下载 mlx-community/Qwen3.8-27B-4bit 和 incoai/Qwen3.8-27B-DFlash2。 2. 打开 Model Manager，编辑 mlx-community/Qwen3.8-27B-4bit，配置 DFlash： • DFlash：enabled • Draft model：incoai/Qwen3.8-27B-DFlash2 • Draft quantization：enabled • Runtime block size：5 • Verify mode：dflash 3. 保存设置，加载目标模型。 对的 token 早就在候选里 DFlash 每个位置独立、并行地预测。每个选择单独看都合理，但没有什么让它们彼此咬合，一个不连贯的块会在验证时被截断。近期的方法如 Domino 和 DSpark，用顺序的 Markov head 重写每个位置的完整词表分布来买连贯性。但真的需要这种昂贵的自回归纠错吗？ 不需要。证据就在 DFlash 自己的候选列表里。拿第一个位置来说：DFlash 的第一选择 85.4% 的情况下是对的，但正确的 token 99.5% 的情况下都在前 16 个候选里。即使第一选择错了，对的 token 通常也在列表上。 表 1：Recall@1（第一选择正确的概率）与 Recall@16（正确 token 出现在前 16 候选里的概率），按起草位置统计，条件是前面每个位置都正确。GSM8K 上的五层 Qwen3-4B DFlash。接受长度包含验证器产出的下一个 token。 • 位置 0：Recall@1 85.4%，Recall@16 99.5% • 位置 1：80.3%，97.3% • 位置 2：79.4%，94.8% • 位置 3：78.3%，92.6% • 位置 4：77.5%，90.8% • 位置 5：75.9%，89.4% • 位置 6：72.9%，87.8% • 接受长度：4.27（只看第一选择）；6.79（从前 16 里选） 一个总能从前 16 个候选里挑对的那个 oracle，会把接受长度从 4.27 抬到 6.79。这个差距是纯粹的选择空间。我们只需要在候选里选出一条正确的路径。 图 1：一个周期里的选择器。只用 DFlash，每个位置保留自己的第一选择；这里两个相邻位置选了同一个词，结巴在验证时死掉。DFlash 2 保留每个位置的 top 候选，选择器在候选之间走出一条连贯路径；这里整块都活了下来。 一个轻量的路径选择器 连贯性大体是局部的：一个候选合不合适，主要取决于它前面的那个 token，所以给相邻对打分应该就够了。DFlash 2 保留每个位置前 16 个候选，给每一对相邻候选打分。对前一个 token a 和当前候选 b： S_t(a,b) = U_t(b) + ⟨A(a)⊙H(h_t), B(b)⟩ 分数分两部分。第一部分 U_t(b) 是 DFlash 自己的 logit：drafter 本身有多喜欢 b。第二部分问 b 接在 a 后面有多顺：A 和 B 给每个 token 一个紧凑的 256 维嵌入，两个嵌入在一个上下文门控 H(h_t) 下匹配，门控决定匹配的哪些部分算数。本质上，这是对相邻候选做的低秩双线性注意力。 打分全程并行。每个位置的每一对相邻候选一次性全部算完，不需要额外的 backbone 或 LM head 前向。唯一串行的部分，是最后在预计算好的分数上走一遍：从最后一个已验证 token 出发，贪心地跟着每一步最好的后继走，采样从同样的分数里抽取，拒绝采样恢复出精确的目标分布。 表 2：只加路径选择（不加卷积）的接受长度，GSM8K 上的五层 Qwen3-4B。开销相对纯 DFlash：drafter 增加的参数、起草-验证周期增加的延迟。 • DFlash：T=0 下 4.27，T=1 下 3.78 • + DSpark 纠错：+77.8M 参数，+9.6% 延迟；4.49，4.08 • + 路径选择（我们的）：+2.0M 参数，+0.6% 延迟；4.61，4.25 选择器在 T=0 下给 DFlash 加 0.34 个 token，T=1 下加 0.47。两个设置下都超过 DSpark 的纠错，参数少约 40 倍，延迟开销低 16 倍。选择比预测便宜。而且还有空间：oracle 能到 6.79。成对打分是我们能想到的最简单的选择器，我们相信这里还有很多可探索的。 后缀衰减是个局部问题 我们还注意到上面两行 recall 都在块尾下滑。连 oracle 都在衰减：即使选择完美，准确率仍然从第一个位置的 99.5% 掉到最后一个位置的 87.8%。没有选择器能修这个，因为候选自己就不够了。我们把这个叫后缀衰减，它是 backbone 的问题。 一个嫌疑是容量：五层 backbone 可能太小，撑不住横跨整块的依赖。如果真是这样，深度应该在靠后的位置帮上最多的忙。事实也如此：3 层、5 层、15 层的 DFlash 模型在第一个位置上几乎一样，越往块尾分得越开。但深度不加区分：多十层 attention block 到处加容量，连那些没什么可赚的靠前位置也加，把 DFlash 吸引人的那部分效率磨掉了。 图 2：GSM8K 上 Qwen3-4B 的 Recall@1（T=0），条件是前面每个位置都正确。所有 drafter 在相同设置下训练；卷积模型评估时不带选择器。它的卷积增加 3% 参数和 0.7% 周期延迟；15 层模型多出的十层增加 15.2%。 我们要一个有针对性的修法，而 DFlash 的 attention 指出了修哪里。它有两份工作：读块之前的上下文，以及建模块内部的依赖。但它在第二份上花的越来越少：块内注意力占比从第 1 层的 30% 掉到第 5 层的 8%，剩下的还集中在越来越少的一小撮 head 里。所以我们把两份工作拆开：一个专用模块承担块内工作，attention 继续读上下文。 图 3：五层 Qwen3-4B DFlash 的块内注意力按 head 分布。越亮的格子代表在起草块上花注意力越多的 head；靠后的层里，块内质量收缩、集中到少数几个 head。 一个轻量的局部卷积 块内工作本来就是短程的：一个块只有 4 到 16 个 token，最紧的依赖坐在相邻位置之间。自然的算子是短卷积：两个抽头，一个在当前位置，一个够到前一个位置，权重随内容自适应。跟随 Canon Layers、Dynamic Short Convolutions 和 Convolution for Large Language Models 的做法，我们在每个 attention 和 feed-forward 子层前后插入这个双抽头动态深度卷积： Conv_k(x)_t = k_{t,0}⊙x_t + k_{t,1}⊙x_{t-1} 每个系数由一个可学习的基核加上从当前隐藏状态算出的一个小修正组成；每 16 个通道共享一个修正。第一个位置读最后一个已验证 token 的表示，之后的每个位置读它前一个的。信息穿过整块，同时所有位置仍然并行计算。 图 4：双抽头动态卷积。每个 drafter 层的每个 attention 和 MLP 子层前后各有一个。内部：每个位置把自己的表示和前一个的混合；第一个位置读最后一个已验证 token。 卷积是块局部的、无状态的，所以能无缝插进 DFlash，不用动 attention、LM head 或验证。 只加 16.5M 参数（3%），带卷积的五层 DFlash 就逼近了 15 层 DFlash，大幅减轻后缀衰减。卷积给起草-验证周期延迟加 0.7%；多十层 Transformer 层加 15.2%。第 4、5 层的平均块内注意力从 9.4% 降到 0.5%，与卷积吸收局部工作、attention 回到读上下文一致。一个只够到前一个位置的核，买回了十层额外层的大部分收益：后缀衰减大体是个局部问题。 合在一起 到目前为止，选择器和卷积是分开测的；下面的完整对比把它们放在一起。DFlash 和 DSpark drafter 是我们在对齐的设置下自己训练的，MTP 随模型发布。 表 3：Qwen3.5-4B 每请求平均接受长度。采样：thinking 开启，温度 1.0，top-p 0.95，top-k 20，presence penalty 1.5，无损拒绝采样。 • GSM8K：MTP 4.78，DFlash 4.99，DSpark 5.69，DFlash 2 6.20 • MATH-500：5.04，5.42，6.20，6.76 • HumanEval：4.84，5.43，5.80，6.28 • MBPP：4.16，4.49，4.96，5.41 • MT-Bench：3.90，4.26，4.77，5.20 • 平均：4.54，4.92，5.49，5.97 DFlash 2 在每项基准上都领先。平均下来，它比 DFlash 多 1.05 个 token（21%），比 DSpark 多 0.48。升级仍然便宜：选择器和卷积加起来，只给五层 DFlash 的起草-验证周期延迟加了 1.3%。 在 MATH-500 上，增益逐位置可见：DFlash 2 到最后一个位置都稳在 86% 附近，而每个基线在块尾都比它低 6 到 9 个点。 图 5：MATH-500 上 Qwen3.5-4B 的条件接受率，采样同上。 两个 drafter，今天发布 我们今天发布两个 DFlash 2 drafter：一个给 Qwen3.8-27B（ Meta 的 Muse Glimmer（ Qwen3.8-27B，我们对比模型原生的 MTP 路径和一个社区 DSpark drafter。 表 4：Qwen3.8-27B 每请求平均接受长度，模型默认采样、块大小 8，对比原生 MTP 路径和社区 DSpark drafter。 • GSM8K：MTP 5.02，DSpark 4.36，DFlash 2 5.46 • MATH-500：4.72，3.92，5.28 • HumanEval：3.91，3.30，4.39 • MBPP：3.99，3.51，4.79 • MT-Bench：3.74，3.01，4.10 • 平均：4.28，3.62，4.80 对 Meta 的 Muse Glimmer，我们对比随模型发布的官方 DFlash drafter 和一个社区 DSpark drafter。 表 5：Muse Glimmer 每请求平均接受长度，模型默认采样、块大小 16。DFlash 是 Meta 随模型发布的官方 drafter；DSpark 是社区 drafter。 • GSM8K：DFlash 5.43，DSpark 5.45，DFlash 2 6.57 • MATH-500：5.39，5.01，6.56 • HumanEval：4.11，4.33，5.66 • MBPP：3.74，4.02，5.30 • MT-Bench：3.52，3.59，4.42 • 平均：4.44，4.48，5.70 差距很大：在两个模型上，DFlash 2 平均比 DSpark 多出超过一个完整的 token。它也超过每个模型的官方 drafter：Qwen3.8-27B 的 MTP、Muse Glimmer 的 DFlash。换算成吞吐，Qwen3.8-27B 上达到自回归解码的 2.7–3.4 倍，Muse Glimmer 上 3.1–4.6 倍。模型卡（ 底线 agent 一个下午写出来的东西，聊天机器人要写一个月，而每一个 token 底下都坐着解码。DFlash 2 以接近自回归解码 3 倍的速度解码，每个 token 约三分之一的算力，输出相同。 七个月里，DFlash 从我们的论文变成了行业标准，超过 350 万次下载。在同一个设计内部，DFlash 2 每次通过多解码一个完整的 token，免费。那还只是服务栈的一个组件。推理离它的地板还很远。 在 Inco AI，我们在构建一套端到端的服务栈，把这个地板继续往下压。DFlash 2 是第一块。两个 drafter 今天发布在 Hugging Face。 如果你在规模化地服务 agent，想在你的栈里评估 DFlash 2，或者想为你跑的模型（包括你自己的微调）要一个 drafter，写信给我们：contact@inco.ai。 我们也在招人。如果你想一起构建这套栈，联系我们。 把候选连起来。起草，继续并行。 脚注：Modal 的 Speculation Is All You Need 指出，投机解码是对低延迟服务最重要的优化。我们是他们工作的超级粉丝，感谢他们自 DFlash 发布以来的支持和讨论。 本文引用格式：@misc{inco2026dflash2, title={DFlash 2: Keep Drafting Parallel}, year={2026}, month={August}, url={ 原文： #DFlash# #投机解码# #LLM推理#

最近有跟很多人聊 AI，发现很多人其实分不清推理和训练是什么。 1️⃣ 推理（inference）：模型答题 你每天用的 ChatGPT、Claude，基本都停在推理这一层，说白了就是你向一个已经训练好的模型发请求、它给你回复的过程。 模型的权重早就在训练阶段固定死了，你输入一段 prompt 进去，它做一次前向计算，吐出结果。可以直接把它当成一个服务端，请求和请求之间互不通信、互不影响。 2️⃣ 预训练（pre-training）：从零造一个大脑 这是整个大模型诞生里最重、也最关键的一步。一般会拿几十 TB 的数据喂给一个随机初始化的网络，让它反复学预测下一个词，一次训练动辄几个月，烧掉巨量的 GPU 卡和电费，最后产出一个基座模型（base model）。 它对硬件的要求很变态，几千张顶级 GPU 得物理上挤在同一个机房，用 InfiniBand 高速互联连成一台超级计算机，因为每次训练都要同步梯度，这也是为什么HBM贵的原因。 预训练造出来的模型其实还很难用，它只能保证闷头续写(输出token)，你问它一个问题，它可能给你顺手反问三个类似的问题出来。 3️⃣ 后训练（post-training）：把大脑调教成助手 从只会续写的基座模型，需要通过后训练才能变成好好跟你聊天、帮你完成任务的助手。 它是一个很长的工序，把预训练之后所有继续改权重的工序都装进去，主要有以下几种方式： 1.SFT：监督微调，喂人工写好的问题和好答案，教它按指令回答 2.RLHF / DPO：用人类偏好数据对齐，让它知道哪种回答更受欢迎、更安全，Anthropic 那套 Constitutional AI 就是这一支的变体 3.推理训练 RLVR：拿数学对不对、代码跑不跑得通这种能验证的奖励，专门练它的推理链。后训练的数据量和成本比预训练小好几个数量级，但一个模型好不好用、听不听话、安不安全，主要是这一层练出来的，不是靠参数量堆出来的，比如gpt风格明显就更加严谨、claude会更发散。 同样是训练，预训练拼的是算力和资本，后训练拼的是数据质量和调教手艺。 4️⃣ 微调（fine-tune）：特定化调整 这是普通公司和个人唯一玩得起的训练。微调就是拿一个已经预训练好的模型，用你自己私有小规模的特定数据再补一补，让它适配某个行业、某类任务、某种风格。上面说的 SFT 其实就是微调的一种，只不过大家平时说微调，更多指自己拿开源模型 Llama、Qwen 在自家的私有数据上接着训。 早期微调要动全部参数，成本还是挺高的，个人和小公司玩不起。后来有了 LoRA 这类参数高效微调，把原模型冻住，只训一小撮新增的低秩参数，便宜到一张显卡、几十块钱电费就能跑一次。 所以你听到某公司说我们训了个垂直领域的大模型，先别急着膜拜，大概率是在这一层 LoRA 了一下。