Breaking News on Large Language Models! OpenAI slashes prices of GPT-5.6 Luna by 80% and GPT-5.6 Terra by 20%. #openai# #chatgpt# #LLM# 大模型重磅！OpenAI将GPT-5.6Luna的价格下调80%，GPT-5.6Terra的价格下调20%。#openai##chatgpt##大模型#

日读论文： From Context to Skills: Can Language Models Learn from Context Skillfully? (Ctx2Skill) 互斗写书，越斗越偏 ──────── 医生想用一份刚出的临床指南调整治疗方案。50 页文档，密密麻麻全是术语，规则之间还交叉引用。他真正需要的是把"什么病合什么药"变成几条能照着走的步骤。直接把整份指南扔给 GPT-5.1 让它答题，全 benchmark 平均对率 21%——大模型读完了，用不出来。这不是它"长上下文"不行，是 *它没把规则提炼成可以反复调用的小手册*。 老办法是把人类标注员请来给文档画重点：把规则、流程、注意事项提炼成自然语言"技能"，附在 prompt 前面给模型用。但这条路有两个死结：一是*标注成本爆炸*——50 页技术文档，标注员要把整套领域逻辑读到能复述，几小时才标一份；500 份这么搞，人累死也搞不完。二是*没有外部反馈*——如果想让 AI 自动写技能，怎么验证它提炼对了？没有 ground truth、没有执行结果、没有标准答案，它瞎写你都不知道。已有的"自动写技能"方法（AutoSkill、SkillX 等）都需要环境给反馈信号——比如"代码跑出来对不对""任务完成没"——可面对一份纯文档，没人替你判对错。 作者说不需要外人。让模型自己跟自己打——一个出题，一个解题，第三方判 pass/fail。每一回合，错题让解题方反省"我漏了什么知识"，过得太轻松的题让出题方反省"我出题不够刁"。两边各自维护一份自然语言的"技能手册"，回合结束之后改写各自的手册。这套循环不依赖人类标注，也不依赖任务本身的对错反馈—— *只用模型互相之间的胜负就能把技能写出来*。 ──────── 按常识，5 个回合互相磨练完，第 5 回合的 Reasoner 手册应该最强吧？ 错。论文做了固定回合的对照实验（GPT-4.1）：*单调下降*。越练越差。 为什么？作者起了个名字： *adversarial collapse*——对抗坍缩。Challenger 越来越凶，开始出"考钻牛角尖"的题；Reasoner 为了应付这些极端题，把手册改得越来越歪——专为对付怪题而存在的条目挤掉了通用知识。两边都在围着一个不代表真实任务分布的"病态点"打转。 更阴险的是， *这种崩塌在循环内部察觉不到*——Judge 每一回合只看当前题，没有信号告诉你"之前学会的事是不是被新条目挤丢了"。 ** 怎么找回早期的好手册：Cross-Time Replay 既然不能信"最后一版"，得回头挑。但凭什么挑？ 办法：在 5 个回合里偷偷攒两套小探针—— - *Hard probe*：每回合败得最惨（评分点通过率最低）的那道题 - *Easy probe*：每回合解得最轻松（评分点最少）的那道题 循环跑完，把 5 个版本的 Reasoner 手册*回去重做*这两套探针。每个版本算两个分：在难题集上的解题率 ρ_h、在易题集上的解题率 ρ_e。 *选哪一版？* 让 ρ_h × ρ_e 最大的那一版赢。 为什么是乘积不是相加？*乘积惩罚"舍弱保强"*——一个版本如果为了多解几道难题、把易题做塌了，乘积立刻塌（一个 0 拉低全场）；加法只算总分，掩盖短板。消融：换成加法 → -0.6%。 ──────── *你的对手如果只服你一个人，他会变成你的镜子，不是你的镜鉴*。 Self-play 跑久了，Challenger 出的题不再代表真实世界，只代表 Reasoner 当下还不会的边角；Reasoner 的手册也不再是知识，只是这场私局的应试手册。两个人在屋里关久了，一起走进自己造的回音壁。 破解的办法不在循环里——*在循环之外保留一份"代表性参照"*，回头挑哪一版没飘走。Cross-Time Replay 是这个论文真正的灵魂，不是某个技术细节。它在说：*对抗优化必须配一个不参与对抗的判别器*，否则一定会塌。这个判别器不一定是人，可以是从对抗自己内部偷出来的、有代表性的小样本——但它必须独立于"当下这一刻在追什么"。

长上下文很快会把普通 prompt 塞满。模型也会卡住。rlm 就是用来让模型继续拆问题和递归调用的项目。 rlm 是一个给 Recursive Language Models 用的推理库项目。 项目说明把关键动作写得很实。常见的 `llm.completion(prompt, model)` 在这里会换成 `rlm.completion(prompt, model)`，上下文会放进 REPL 环境里，模型可以继续检查内容，再递归发起子模型调用。仓库里还放了 inference engine、多种 sandbox 执行环境，以及 training 目录下的 verifiers 训练线，推理和训练都能顺着项目说明往下看。 要处理超长材料、复杂任务拆分，或者想研究递归式语言模型的人会更需要它。短 prompt 问答场景里，普通调用链通常已经够用了。 GitHub 现在约 4.9k stars 工具地址：

📖 刚发现一本讲大模型的书，配套代码和近三百幅插图全部开源 GitHub 上 2.83 万 stars 学大模型最难受的地方在于，讲原理的材料往往只给公式，讲实践的又直接甩 API 调用，中间那层「这东西内部到底怎么运转」始终是糊的。看完能复述名词，但让你说清注意力机制里数据是怎么流的，还是说不出来。 这本《Hands-On Large Language Models》走的是图解加动手的路子。作者之一 Jay Alammar 就是以把 Transformer 画明白著称的那位，全书配了近 300 幅定制插图，配套仓库里是 12 章 Jupyter Notebook，每一章都能直接跑。 章节顺序按认知铺开：先是语言模型基础、词元与嵌入、Transformer 结构，再到文本分类、主题建模、提示工程和文本生成，最后是语义搜索、检索增强生成、多模态模型、嵌入模型训练和微调。示例主要在 Google Colab 上构建和测试，没有本地显卡也能跟着做，仓库同时给了本地环境、Conda 和 PyTorch 的安装说明。 书是 O'Reilly 2024 年出的，纸质版要花钱，但代码和 notebook 是完全开放的。 看图理解，跑代码验证，这两步凑齐才算真学会。 GitHub：

📚 刚发现一份 AI 工程转型的论文清单，从零到前沿的路线全给你排好了 GitHub 上 2.6K stars 写了几年后端想转 AI，最难的不是学不动，是不知道从哪学起。网上的资料要么是「三天精通大模型」这种速成课，要么直接甩你一篇 Transformer 原论文，中间那段路没人给你铺。 这份清单把中间那段补上了，按主题分层排：分词、向量化、基础设施、核心架构打底，往上是混合专家模型、RLHF、思维链和推理，最后是优化、蒸馏和状态空间模型。每一层给的都是原始论文和项目本体，BERT、TensorFlow、FAISS、Ray、FlashAttention、Mamba、CLIP、DSPy 和 Model Context Protocol 都在列，《Attention Is All You Need》《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》《Distilling the Knowledge in a Neural Network》这几篇奠基论文也标了出来。 除了论文还有实战部分：图像 Transformer、视频 Transformer、上下文工程和竞赛模型相关的研究，以及 Meta、OpenAI、Swiggy、Netflix 和 Uber 的真实系统案例，能看到这些东西在生产环境里是怎么用的。末尾还附了一门 AI Engineering 的视频课。 想清楚要学什么，比一头扎进去学得快。 GitHub：

投机解码的 drafter 从来都是一个 token 一个 token 地猜。做出 DFlash 的推理公司 Inco AI 说这没必要：正确的 token 本来就在候选列表里，整块并行预测之后挑出一条连贯路径，输出不变，每次验证多赚一个完整的 token。 《DFlash 2：保持并行起草》 推理是 agent 时代的瓶颈。agent 会读、会规划、会调用工具，常常一跑就是几小时甚至几天。它们消耗 token 的速度，是聊天场景从未达到过的。而每一个 token 都要在模型上跑一次完整的前向传播。在 Inco AI，我们在构建一套面向未来 token 经济学的推理栈。这篇文章是一次预览。 我们的团队 1 月发布了 DFlash（论文： SGLang、vLLM、TensorRT-LLM 和 llama.cpp 里。NVIDIA 在 Blackwell GPU 上用它测到了最高 15 倍的吞吐；Google 报告在 TPU 上每秒 token 数提升 3 倍；CoreWeave 生产环境的 Kimi K2.7 Code 端点（Artificial Analysis 上该模型最快的端点）默认就跑 DFlash。生态已经在它之上构建：NVIDIA、Red Hat、Modal 都发布了 DFlash drafter；Meta（Muse Glimmer）、Poolside（Laguna）、小米（MiMo-V2.5-Pro）、NVIDIA（Nemotron 3.5 Lightning）随自家模型发布官方 drafter。在 Hugging Face 上，DFlash 模型被下载了超过 350 万次（截至 2026 年 8 月）。 投机解码是现代推理栈的核心组件之一。一个小 drafter 模型猜出一整块 token，目标模型在一次前向传播里验证整块。猜得好，一次前向变成多个 token；猜得差，丢掉重来。但多年来，起草本身一直是自回归的：一次一个 token。DFlash 让它也变成了一次通过：整块、每个位置，并行预测。 （演示视频：DFlash 2 在 Apple M5 Max 上用 oMLX 为 Qwen3.8-27B 起草，与自回归解码并排对比。 DFlash 2 把并行起草又往前推了一步：每次验证通过多产出 20% 以上的输出，增加的周期延迟只有约 1%，而输出可证明不变。跨基准测试的增益在 16–25%。配合今天发布的 Qwen3.8-27B drafter，SGLang 在 batch size 1 下达到自回归解码 2.7–3.4 倍的吞吐。每个位置独立预测，留下两处空间：选对 token，以及在块的末尾守住准确率。DFlash 2 把这两处都拿了回来，同时没有放弃一次性通过的设计。 现在就能跑 DFlash 2 已经跑在主流推理引擎里。 SGLang： pip install -U "sglang[all] @ git+" python -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --speculative-algorithm DFLASH \ --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \ --speculative-num-draft-tokens 8 vLLM： pip install -U "vllm @ git+" vllm serve Qwen/Qwen3.8-27B \ --speculative-config '{ "method": "dflash", "model": "incoai/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7 }' llama.cpp： git clone cd llama.cpp git fetch origin pull/27342/head:pr-27342 git switch pr-27342 NVIDIA CUDA cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON cmake --build build -j Apple Silicon cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON cmake --build build -j ./build/bin/llama-server \ -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \ -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \ --spec-type draft-dflash \ --spec-draft-n-max 7 oMLX：下载安装支持 DFlash 2 的预构建版（ 在 oMLX 里跑 Qwen3.8-27B 加 DFlash 2： 1. 打开 oMLX 的 Model Downloader，下载 mlx-community/Qwen3.8-27B-4bit 和 incoai/Qwen3.8-27B-DFlash2。 2. 打开 Model Manager，编辑 mlx-community/Qwen3.8-27B-4bit，配置 DFlash： • DFlash：enabled • Draft model：incoai/Qwen3.8-27B-DFlash2 • Draft quantization：enabled • Runtime block size：5 • Verify mode：dflash 3. 保存设置，加载目标模型。 对的 token 早就在候选里 DFlash 每个位置独立、并行地预测。每个选择单独看都合理，但没有什么让它们彼此咬合，一个不连贯的块会在验证时被截断。近期的方法如 Domino 和 DSpark，用顺序的 Markov head 重写每个位置的完整词表分布来买连贯性。但真的需要这种昂贵的自回归纠错吗？ 不需要。证据就在 DFlash 自己的候选列表里。拿第一个位置来说：DFlash 的第一选择 85.4% 的情况下是对的，但正确的 token 99.5% 的情况下都在前 16 个候选里。即使第一选择错了，对的 token 通常也在列表上。 表 1：Recall@1（第一选择正确的概率）与 Recall@16（正确 token 出现在前 16 候选里的概率），按起草位置统计，条件是前面每个位置都正确。GSM8K 上的五层 Qwen3-4B DFlash。接受长度包含验证器产出的下一个 token。 • 位置 0：Recall@1 85.4%，Recall@16 99.5% • 位置 1：80.3%，97.3% • 位置 2：79.4%，94.8% • 位置 3：78.3%，92.6% • 位置 4：77.5%，90.8% • 位置 5：75.9%，89.4% • 位置 6：72.9%，87.8% • 接受长度：4.27（只看第一选择）；6.79（从前 16 里选） 一个总能从前 16 个候选里挑对的那个 oracle，会把接受长度从 4.27 抬到 6.79。这个差距是纯粹的选择空间。我们只需要在候选里选出一条正确的路径。 图 1：一个周期里的选择器。只用 DFlash，每个位置保留自己的第一选择；这里两个相邻位置选了同一个词，结巴在验证时死掉。DFlash 2 保留每个位置的 top 候选，选择器在候选之间走出一条连贯路径；这里整块都活了下来。 一个轻量的路径选择器 连贯性大体是局部的：一个候选合不合适，主要取决于它前面的那个 token，所以给相邻对打分应该就够了。DFlash 2 保留每个位置前 16 个候选，给每一对相邻候选打分。对前一个 token a 和当前候选 b： S_t(a,b) = U_t(b) + ⟨A(a)⊙H(h_t), B(b)⟩ 分数分两部分。第一部分 U_t(b) 是 DFlash 自己的 logit：drafter 本身有多喜欢 b。第二部分问 b 接在 a 后面有多顺：A 和 B 给每个 token 一个紧凑的 256 维嵌入，两个嵌入在一个上下文门控 H(h_t) 下匹配，门控决定匹配的哪些部分算数。本质上，这是对相邻候选做的低秩双线性注意力。 打分全程并行。每个位置的每一对相邻候选一次性全部算完，不需要额外的 backbone 或 LM head 前向。唯一串行的部分，是最后在预计算好的分数上走一遍：从最后一个已验证 token 出发，贪心地跟着每一步最好的后继走，采样从同样的分数里抽取，拒绝采样恢复出精确的目标分布。 表 2：只加路径选择（不加卷积）的接受长度，GSM8K 上的五层 Qwen3-4B。开销相对纯 DFlash：drafter 增加的参数、起草-验证周期增加的延迟。 • DFlash：T=0 下 4.27，T=1 下 3.78 • + DSpark 纠错：+77.8M 参数，+9.6% 延迟；4.49，4.08 • + 路径选择（我们的）：+2.0M 参数，+0.6% 延迟；4.61，4.25 选择器在 T=0 下给 DFlash 加 0.34 个 token，T=1 下加 0.47。两个设置下都超过 DSpark 的纠错，参数少约 40 倍，延迟开销低 16 倍。选择比预测便宜。而且还有空间：oracle 能到 6.79。成对打分是我们能想到的最简单的选择器，我们相信这里还有很多可探索的。 后缀衰减是个局部问题 我们还注意到上面两行 recall 都在块尾下滑。连 oracle 都在衰减：即使选择完美，准确率仍然从第一个位置的 99.5% 掉到最后一个位置的 87.8%。没有选择器能修这个，因为候选自己就不够了。我们把这个叫后缀衰减，它是 backbone 的问题。 一个嫌疑是容量：五层 backbone 可能太小，撑不住横跨整块的依赖。如果真是这样，深度应该在靠后的位置帮上最多的忙。事实也如此：3 层、5 层、15 层的 DFlash 模型在第一个位置上几乎一样，越往块尾分得越开。但深度不加区分：多十层 attention block 到处加容量，连那些没什么可赚的靠前位置也加，把 DFlash 吸引人的那部分效率磨掉了。 图 2：GSM8K 上 Qwen3-4B 的 Recall@1（T=0），条件是前面每个位置都正确。所有 drafter 在相同设置下训练；卷积模型评估时不带选择器。它的卷积增加 3% 参数和 0.7% 周期延迟；15 层模型多出的十层增加 15.2%。 我们要一个有针对性的修法，而 DFlash 的 attention 指出了修哪里。它有两份工作：读块之前的上下文，以及建模块内部的依赖。但它在第二份上花的越来越少：块内注意力占比从第 1 层的 30% 掉到第 5 层的 8%，剩下的还集中在越来越少的一小撮 head 里。所以我们把两份工作拆开：一个专用模块承担块内工作，attention 继续读上下文。 图 3：五层 Qwen3-4B DFlash 的块内注意力按 head 分布。越亮的格子代表在起草块上花注意力越多的 head；靠后的层里，块内质量收缩、集中到少数几个 head。 一个轻量的局部卷积 块内工作本来就是短程的：一个块只有 4 到 16 个 token，最紧的依赖坐在相邻位置之间。自然的算子是短卷积：两个抽头，一个在当前位置，一个够到前一个位置，权重随内容自适应。跟随 Canon Layers、Dynamic Short Convolutions 和 Convolution for Large Language Models 的做法，我们在每个 attention 和 feed-forward 子层前后插入这个双抽头动态深度卷积： Conv_k(x)_t = k_{t,0}⊙x_t + k_{t,1}⊙x_{t-1} 每个系数由一个可学习的基核加上从当前隐藏状态算出的一个小修正组成；每 16 个通道共享一个修正。第一个位置读最后一个已验证 token 的表示，之后的每个位置读它前一个的。信息穿过整块，同时所有位置仍然并行计算。 图 4：双抽头动态卷积。每个 drafter 层的每个 attention 和 MLP 子层前后各有一个。内部：每个位置把自己的表示和前一个的混合；第一个位置读最后一个已验证 token。 卷积是块局部的、无状态的，所以能无缝插进 DFlash，不用动 attention、LM head 或验证。 只加 16.5M 参数（3%），带卷积的五层 DFlash 就逼近了 15 层 DFlash，大幅减轻后缀衰减。卷积给起草-验证周期延迟加 0.7%；多十层 Transformer 层加 15.2%。第 4、5 层的平均块内注意力从 9.4% 降到 0.5%，与卷积吸收局部工作、attention 回到读上下文一致。一个只够到前一个位置的核，买回了十层额外层的大部分收益：后缀衰减大体是个局部问题。 合在一起 到目前为止，选择器和卷积是分开测的；下面的完整对比把它们放在一起。DFlash 和 DSpark drafter 是我们在对齐的设置下自己训练的，MTP 随模型发布。 表 3：Qwen3.5-4B 每请求平均接受长度。采样：thinking 开启，温度 1.0，top-p 0.95，top-k 20，presence penalty 1.5，无损拒绝采样。 • GSM8K：MTP 4.78，DFlash 4.99，DSpark 5.69，DFlash 2 6.20 • MATH-500：5.04，5.42，6.20，6.76 • HumanEval：4.84，5.43，5.80，6.28 • MBPP：4.16，4.49，4.96，5.41 • MT-Bench：3.90，4.26，4.77，5.20 • 平均：4.54，4.92，5.49，5.97 DFlash 2 在每项基准上都领先。平均下来，它比 DFlash 多 1.05 个 token（21%），比 DSpark 多 0.48。升级仍然便宜：选择器和卷积加起来，只给五层 DFlash 的起草-验证周期延迟加了 1.3%。 在 MATH-500 上，增益逐位置可见：DFlash 2 到最后一个位置都稳在 86% 附近，而每个基线在块尾都比它低 6 到 9 个点。 图 5：MATH-500 上 Qwen3.5-4B 的条件接受率，采样同上。 两个 drafter，今天发布 我们今天发布两个 DFlash 2 drafter：一个给 Qwen3.8-27B（ Meta 的 Muse Glimmer（ Qwen3.8-27B，我们对比模型原生的 MTP 路径和一个社区 DSpark drafter。 表 4：Qwen3.8-27B 每请求平均接受长度，模型默认采样、块大小 8，对比原生 MTP 路径和社区 DSpark drafter。 • GSM8K：MTP 5.02，DSpark 4.36，DFlash 2 5.46 • MATH-500：4.72，3.92，5.28 • HumanEval：3.91，3.30，4.39 • MBPP：3.99，3.51，4.79 • MT-Bench：3.74，3.01，4.10 • 平均：4.28，3.62，4.80 对 Meta 的 Muse Glimmer，我们对比随模型发布的官方 DFlash drafter 和一个社区 DSpark drafter。 表 5：Muse Glimmer 每请求平均接受长度，模型默认采样、块大小 16。DFlash 是 Meta 随模型发布的官方 drafter；DSpark 是社区 drafter。 • GSM8K：DFlash 5.43，DSpark 5.45，DFlash 2 6.57 • MATH-500：5.39，5.01，6.56 • HumanEval：4.11，4.33，5.66 • MBPP：3.74，4.02，5.30 • MT-Bench：3.52，3.59，4.42 • 平均：4.44，4.48，5.70 差距很大：在两个模型上，DFlash 2 平均比 DSpark 多出超过一个完整的 token。它也超过每个模型的官方 drafter：Qwen3.8-27B 的 MTP、Muse Glimmer 的 DFlash。换算成吞吐，Qwen3.8-27B 上达到自回归解码的 2.7–3.4 倍，Muse Glimmer 上 3.1–4.6 倍。模型卡（ 底线 agent 一个下午写出来的东西，聊天机器人要写一个月，而每一个 token 底下都坐着解码。DFlash 2 以接近自回归解码 3 倍的速度解码，每个 token 约三分之一的算力，输出相同。 七个月里，DFlash 从我们的论文变成了行业标准，超过 350 万次下载。在同一个设计内部，DFlash 2 每次通过多解码一个完整的 token，免费。那还只是服务栈的一个组件。推理离它的地板还很远。 在 Inco AI，我们在构建一套端到端的服务栈，把这个地板继续往下压。DFlash 2 是第一块。两个 drafter 今天发布在 Hugging Face。 如果你在规模化地服务 agent，想在你的栈里评估 DFlash 2，或者想为你跑的模型（包括你自己的微调）要一个 drafter，写信给我们：contact@inco.ai。 我们也在招人。如果你想一起构建这套栈，联系我们。 把候选连起来。起草，继续并行。 脚注：Modal 的 Speculation Is All You Need 指出，投机解码是对低延迟服务最重要的优化。我们是他们工作的超级粉丝，感谢他们自 DFlash 发布以来的支持和讨论。 本文引用格式：@misc{inco2026dflash2, title={DFlash 2: Keep Drafting Parallel}, year={2026}, month={August}, url={ 原文： #DFlash# #投机解码# #LLM推理#