投机解码的 drafter 从来都是一个 token 一个 token 地猜。做出 DFlash 的推理公司 Inco AI 说这没必要：正确的 token 本来就在候选列表里，整块并行预测之后挑出一条连贯路径，输出不变，每次验证多赚一个完整的 token。 《DFlash 2：保持并行起草》 推理是 agent 时代的瓶颈。agent 会读、会规划、会调用工具，常常一跑就是几小时甚至几天。它们消耗 token 的速度，是聊天场景从未达到过的。而每一个 token 都要在模型上跑一次完整的前向传播。在 Inco AI，我们在构建一套面向未来 token 经济学的推理栈。这篇文章是一次预览。 我们的团队 1 月发布了 DFlash（论文： SGLang、vLLM、TensorRT-LLM 和 llama.cpp 里。NVIDIA 在 Blackwell GPU 上用它测到了最高 15 倍的吞吐；Google 报告在 TPU 上每秒 token 数提升 3 倍；CoreWeave 生产环境的 Kimi K2.7 Code 端点（Artificial Analysis 上该模型最快的端点）默认就跑 DFlash。生态已经在它之上构建：NVIDIA、Red Hat、Modal 都发布了 DFlash drafter；Meta（Muse Glimmer）、Poolside（Laguna）、小米（MiMo-V2.5-Pro）、NVIDIA（Nemotron 3.5 Lightning）随自家模型发布官方 drafter。在 Hugging Face 上，DFlash 模型被下载了超过 350 万次（截至 2026 年 8 月）。 投机解码是现代推理栈的核心组件之一。一个小 drafter 模型猜出一整块 token，目标模型在一次前向传播里验证整块。猜得好，一次前向变成多个 token；猜得差，丢掉重来。但多年来，起草本身一直是自回归的：一次一个 token。DFlash 让它也变成了一次通过：整块、每个位置，并行预测。 （演示视频：DFlash 2 在 Apple M5 Max 上用 oMLX 为 Qwen3.8-27B 起草，与自回归解码并排对比。 DFlash 2 把并行起草又往前推了一步：每次验证通过多产出 20% 以上的输出，增加的周期延迟只有约 1%，而输出可证明不变。跨基准测试的增益在 16–25%。配合今天发布的 Qwen3.8-27B drafter，SGLang 在 batch size 1 下达到自回归解码 2.7–3.4 倍的吞吐。每个位置独立预测，留下两处空间：选对 token，以及在块的末尾守住准确率。DFlash 2 把这两处都拿了回来，同时没有放弃一次性通过的设计。 现在就能跑 DFlash 2 已经跑在主流推理引擎里。 SGLang： pip install -U "sglang[all] @ git+" python -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --speculative-algorithm DFLASH \ --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \ --speculative-num-draft-tokens 8 vLLM： pip install -U "vllm @ git+" vllm serve Qwen/Qwen3.8-27B \ --speculative-config '{ "method": "dflash", "model": "incoai/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7 }' llama.cpp： git clone cd llama.cpp git fetch origin pull/27342/head:pr-27342 git switch pr-27342 NVIDIA CUDA cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON cmake --build build -j Apple Silicon cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON cmake --build build -j ./build/bin/llama-server \ -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \ -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \ --spec-type draft-dflash \ --spec-draft-n-max 7 oMLX：下载安装支持 DFlash 2 的预构建版（ 在 oMLX 里跑 Qwen3.8-27B 加 DFlash 2： 1. 打开 oMLX 的 Model Downloader，下载 mlx-community/Qwen3.8-27B-4bit 和 incoai/Qwen3.8-27B-DFlash2。 2. 打开 Model Manager，编辑 mlx-community/Qwen3.8-27B-4bit，配置 DFlash： • DFlash：enabled • Draft model：incoai/Qwen3.8-27B-DFlash2 • Draft quantization：enabled • Runtime block size：5 • Verify mode：dflash 3. 保存设置，加载目标模型。 对的 token 早就在候选里 DFlash 每个位置独立、并行地预测。每个选择单独看都合理，但没有什么让它们彼此咬合，一个不连贯的块会在验证时被截断。近期的方法如 Domino 和 DSpark，用顺序的 Markov head 重写每个位置的完整词表分布来买连贯性。但真的需要这种昂贵的自回归纠错吗？ 不需要。证据就在 DFlash 自己的候选列表里。拿第一个位置来说：DFlash 的第一选择 85.4% 的情况下是对的，但正确的 token 99.5% 的情况下都在前 16 个候选里。即使第一选择错了，对的 token 通常也在列表上。 表 1：Recall@1（第一选择正确的概率）与 Recall@16（正确 token 出现在前 16 候选里的概率），按起草位置统计，条件是前面每个位置都正确。GSM8K 上的五层 Qwen3-4B DFlash。接受长度包含验证器产出的下一个 token。 • 位置 0：Recall@1 85.4%，Recall@16 99.5% • 位置 1：80.3%，97.3% • 位置 2：79.4%，94.8% • 位置 3：78.3%，92.6% • 位置 4：77.5%，90.8% • 位置 5：75.9%，89.4% • 位置 6：72.9%，87.8% • 接受长度：4.27（只看第一选择）；6.79（从前 16 里选） 一个总能从前 16 个候选里挑对的那个 oracle，会把接受长度从 4.27 抬到 6.79。这个差距是纯粹的选择空间。我们只需要在候选里选出一条正确的路径。 图 1：一个周期里的选择器。只用 DFlash，每个位置保留自己的第一选择；这里两个相邻位置选了同一个词，结巴在验证时死掉。DFlash 2 保留每个位置的 top 候选，选择器在候选之间走出一条连贯路径；这里整块都活了下来。 一个轻量的路径选择器 连贯性大体是局部的：一个候选合不合适，主要取决于它前面的那个 token，所以给相邻对打分应该就够了。DFlash 2 保留每个位置前 16 个候选，给每一对相邻候选打分。对前一个 token a 和当前候选 b： S_t(a,b) = U_t(b) + ⟨A(a)⊙H(h_t), B(b)⟩ 分数分两部分。第一部分 U_t(b) 是 DFlash 自己的 logit：drafter 本身有多喜欢 b。第二部分问 b 接在 a 后面有多顺：A 和 B 给每个 token 一个紧凑的 256 维嵌入，两个嵌入在一个上下文门控 H(h_t) 下匹配，门控决定匹配的哪些部分算数。本质上，这是对相邻候选做的低秩双线性注意力。 打分全程并行。每个位置的每一对相邻候选一次性全部算完，不需要额外的 backbone 或 LM head 前向。唯一串行的部分，是最后在预计算好的分数上走一遍：从最后一个已验证 token 出发，贪心地跟着每一步最好的后继走，采样从同样的分数里抽取，拒绝采样恢复出精确的目标分布。 表 2：只加路径选择（不加卷积）的接受长度，GSM8K 上的五层 Qwen3-4B。开销相对纯 DFlash：drafter 增加的参数、起草-验证周期增加的延迟。 • DFlash：T=0 下 4.27，T=1 下 3.78 • + DSpark 纠错：+77.8M 参数，+9.6% 延迟；4.49，4.08 • + 路径选择（我们的）：+2.0M 参数，+0.6% 延迟；4.61，4.25 选择器在 T=0 下给 DFlash 加 0.34 个 token，T=1 下加 0.47。两个设置下都超过 DSpark 的纠错，参数少约 40 倍，延迟开销低 16 倍。选择比预测便宜。而且还有空间：oracle 能到 6.79。成对打分是我们能想到的最简单的选择器，我们相信这里还有很多可探索的。 后缀衰减是个局部问题 我们还注意到上面两行 recall 都在块尾下滑。连 oracle 都在衰减：即使选择完美，准确率仍然从第一个位置的 99.5% 掉到最后一个位置的 87.8%。没有选择器能修这个，因为候选自己就不够了。我们把这个叫后缀衰减，它是 backbone 的问题。 一个嫌疑是容量：五层 backbone 可能太小，撑不住横跨整块的依赖。如果真是这样，深度应该在靠后的位置帮上最多的忙。事实也如此：3 层、5 层、15 层的 DFlash 模型在第一个位置上几乎一样，越往块尾分得越开。但深度不加区分：多十层 attention block 到处加容量，连那些没什么可赚的靠前位置也加，把 DFlash 吸引人的那部分效率磨掉了。 图 2：GSM8K 上 Qwen3-4B 的 Recall@1（T=0），条件是前面每个位置都正确。所有 drafter 在相同设置下训练；卷积模型评估时不带选择器。它的卷积增加 3% 参数和 0.7% 周期延迟；15 层模型多出的十层增加 15.2%。 我们要一个有针对性的修法，而 DFlash 的 attention 指出了修哪里。它有两份工作：读块之前的上下文，以及建模块内部的依赖。但它在第二份上花的越来越少：块内注意力占比从第 1 层的 30% 掉到第 5 层的 8%，剩下的还集中在越来越少的一小撮 head 里。所以我们把两份工作拆开：一个专用模块承担块内工作，attention 继续读上下文。 图 3：五层 Qwen3-4B DFlash 的块内注意力按 head 分布。越亮的格子代表在起草块上花注意力越多的 head；靠后的层里，块内质量收缩、集中到少数几个 head。 一个轻量的局部卷积 块内工作本来就是短程的：一个块只有 4 到 16 个 token，最紧的依赖坐在相邻位置之间。自然的算子是短卷积：两个抽头，一个在当前位置，一个够到前一个位置，权重随内容自适应。跟随 Canon Layers、Dynamic Short Convolutions 和 Convolution for Large Language Models 的做法，我们在每个 attention 和 feed-forward 子层前后插入这个双抽头动态深度卷积： Conv_k(x)_t = k_{t,0}⊙x_t + k_{t,1}⊙x_{t-1} 每个系数由一个可学习的基核加上从当前隐藏状态算出的一个小修正组成；每 16 个通道共享一个修正。第一个位置读最后一个已验证 token 的表示，之后的每个位置读它前一个的。信息穿过整块，同时所有位置仍然并行计算。 图 4：双抽头动态卷积。每个 drafter 层的每个 attention 和 MLP 子层前后各有一个。内部：每个位置把自己的表示和前一个的混合；第一个位置读最后一个已验证 token。 卷积是块局部的、无状态的，所以能无缝插进 DFlash，不用动 attention、LM head 或验证。 只加 16.5M 参数（3%），带卷积的五层 DFlash 就逼近了 15 层 DFlash，大幅减轻后缀衰减。卷积给起草-验证周期延迟加 0.7%；多十层 Transformer 层加 15.2%。第 4、5 层的平均块内注意力从 9.4% 降到 0.5%，与卷积吸收局部工作、attention 回到读上下文一致。一个只够到前一个位置的核，买回了十层额外层的大部分收益：后缀衰减大体是个局部问题。 合在一起 到目前为止，选择器和卷积是分开测的；下面的完整对比把它们放在一起。DFlash 和 DSpark drafter 是我们在对齐的设置下自己训练的，MTP 随模型发布。 表 3：Qwen3.5-4B 每请求平均接受长度。采样：thinking 开启，温度 1.0，top-p 0.95，top-k 20，presence penalty 1.5，无损拒绝采样。 • GSM8K：MTP 4.78，DFlash 4.99，DSpark 5.69，DFlash 2 6.20 • MATH-500：5.04，5.42，6.20，6.76 • HumanEval：4.84，5.43，5.80，6.28 • MBPP：4.16，4.49，4.96，5.41 • MT-Bench：3.90，4.26，4.77，5.20 • 平均：4.54，4.92，5.49，5.97 DFlash 2 在每项基准上都领先。平均下来，它比 DFlash 多 1.05 个 token（21%），比 DSpark 多 0.48。升级仍然便宜：选择器和卷积加起来，只给五层 DFlash 的起草-验证周期延迟加了 1.3%。 在 MATH-500 上，增益逐位置可见：DFlash 2 到最后一个位置都稳在 86% 附近，而每个基线在块尾都比它低 6 到 9 个点。 图 5：MATH-500 上 Qwen3.5-4B 的条件接受率，采样同上。 两个 drafter，今天发布 我们今天发布两个 DFlash 2 drafter：一个给 Qwen3.8-27B（ Meta 的 Muse Glimmer（ Qwen3.8-27B，我们对比模型原生的 MTP 路径和一个社区 DSpark drafter。 表 4：Qwen3.8-27B 每请求平均接受长度，模型默认采样、块大小 8，对比原生 MTP 路径和社区 DSpark drafter。 • GSM8K：MTP 5.02，DSpark 4.36，DFlash 2 5.46 • MATH-500：4.72，3.92，5.28 • HumanEval：3.91，3.30，4.39 • MBPP：3.99，3.51，4.79 • MT-Bench：3.74，3.01，4.10 • 平均：4.28，3.62，4.80 对 Meta 的 Muse Glimmer，我们对比随模型发布的官方 DFlash drafter 和一个社区 DSpark drafter。 表 5：Muse Glimmer 每请求平均接受长度，模型默认采样、块大小 16。DFlash 是 Meta 随模型发布的官方 drafter；DSpark 是社区 drafter。 • GSM8K：DFlash 5.43，DSpark 5.45，DFlash 2 6.57 • MATH-500：5.39，5.01，6.56 • HumanEval：4.11，4.33，5.66 • MBPP：3.74，4.02，5.30 • MT-Bench：3.52，3.59，4.42 • 平均：4.44，4.48，5.70 差距很大：在两个模型上，DFlash 2 平均比 DSpark 多出超过一个完整的 token。它也超过每个模型的官方 drafter：Qwen3.8-27B 的 MTP、Muse Glimmer 的 DFlash。换算成吞吐，Qwen3.8-27B 上达到自回归解码的 2.7–3.4 倍，Muse Glimmer 上 3.1–4.6 倍。模型卡（ 底线 agent 一个下午写出来的东西，聊天机器人要写一个月，而每一个 token 底下都坐着解码。DFlash 2 以接近自回归解码 3 倍的速度解码，每个 token 约三分之一的算力，输出相同。 七个月里，DFlash 从我们的论文变成了行业标准，超过 350 万次下载。在同一个设计内部，DFlash 2 每次通过多解码一个完整的 token，免费。那还只是服务栈的一个组件。推理离它的地板还很远。 在 Inco AI，我们在构建一套端到端的服务栈，把这个地板继续往下压。DFlash 2 是第一块。两个 drafter 今天发布在 Hugging Face。 如果你在规模化地服务 agent，想在你的栈里评估 DFlash 2，或者想为你跑的模型（包括你自己的微调）要一个 drafter，写信给我们：contact@inco.ai。 我们也在招人。如果你想一起构建这套栈，联系我们。 把候选连起来。起草，继续并行。 脚注：Modal 的 Speculation Is All You Need 指出，投机解码是对低延迟服务最重要的优化。我们是他们工作的超级粉丝，感谢他们自 DFlash 发布以来的支持和讨论。 本文引用格式：@misc{inco2026dflash2, title={DFlash 2: Keep Drafting Parallel}, year={2026}, month={August}, url={ 原文： #DFlash# #投机解码# #LLM推理#

DeepSeek真的是性价比和技术双重斩杀线... 有同学看不懂DSpark是啥, 简单给大家写个小教程讲讲. 推测性解码(投机解码)这个技术是用来提升大模型输出速度的. 本质是让小模型给大模型接话, 大模型判断小模型说的对不对. 因为现在模型普遍卡内存带宽, 而GPU算力是富余的, 所以大模型的prefill速度(看字)比decode速度(吐字)快很多. 那么让小模型沿着大模型的思路先说一段话, 大模型判断对不对(只需要看字), 只要小模型猜对了, 那么这就利用了prefill速度, 吐字就会成倍的提升. 但问题来了, 外挂小模型也要看字(prefill), 也要占用显存, 也要吃显存带宽. 那么有没有更好的方法来解决呢? 来了, 这就是DSpark. 看我的这个图(左侧DSv4架构图是 @rasbt 大佬的), DSpark 接在了 Final RMSNorm 过程中. 不是接一个完整的小模型, 而是一个3 层的MTP(多Token预测)微型Transformer堆叠. 大模型算完前面60多层后, 刚把当前这句话的"高浓缩概念"(特征向量/隐藏状态)推到 Final RMSNorm 这个出口，还没来得及翻译成具体文字时，DSpark开始截胡: 首先是半自回归极速脑补 (MTP + Markov Head), DSpark自己有一丢丢参数, 然后它就瞬间并行猜5个字(特征向量), 然后再用自己内部的一个串行网络理顺逻辑. (注意啊,先并行然后串行消除并行导致的逻辑不连贯). 然后, 它会有一个置信度预测头, 预判自己猜的准不准, 比如5个字的后2不准就直接砍掉, 防止后续送回大模型浪费算力. 最后把留下的3个字塞回词表映射层, 把向量翻译为token. 到此为止DSpark工作就做完了. 然后就是大模型扫一遍DSpark输出的对不对(只用prefill，不decode), 一旦正确了, 就直接吐字, 这样之前模型一次只能吐一个字, 现在就能吐3个字了! 最后, 推测性解码是不会降智的, 速度能提升60%-85%! 之前是雇一个小模型帮忙写草稿, 现在则是直接脑子里植入芯片了. 目前SGLang已经有这个特性的PR了(29538), 而且DeepSeek刚在自己的HuggingFace主页发了一大堆小模型的DSpark魔改版. 大胆猜一波未来发布的模型会不会标配DSpark? #dspark# #deepseek# #投机解码# #推测性解码#

想买Mac运行大模型? 这是劝退贴 其实估算方法很简单, 现在买 MacStudio 哪怕运行 Qwen3.6-27B 4bit 量化版本, 然后开 DFlash 使用Qwen的内置投机解码, 也就飙到 65token/s. 而现在普遍大模型都能跑到 40 token/s. 如果专门买 MacStudio M3 Ultra 96G 运行大模型, 如果把设备售价 (32999) 换算成使用API, 以 GLM-5.2 为例, 每百万token 28块, 一台 MacStudio 的价格大概能买到 32999/28 = 1178M token. 而为了输出这些token, 买到的 MacStudio 运行 Qwen3.6-27B 要持续运行 209天. 也就是说回本周期至少是200天不间断运行. 然后运行模型才是纯赚. 这还是没算电费和不直接买API而是买套餐的情况.而且, 最重要的是这还是在运行一个只有27B的小模型. 如果真的买512G的 MacStudio (108749, 而且好像已经断货了), 然后运行量化版本的 GLM-5.2, 速度就会跌到只有 17 token/s, 回本周期大概在 7 年左右... 对于现在1.5个月模型就发新版本的情况下, 普通用户自用是绝对不划算的. 所以大部分用户买 coding plan 会更划算, 如果像我一样要测新模型, 直接租卡也会比直接买划算很多. 当然, 如果你本身就有Mac或者显卡, 那么空闲的时候(比如睡觉的时候)让它跑大模型运行任务, 反而是划算的. #本地大模型# #mac# #qwen36# #glm52#

过去一年端侧推理公司的股价杀得很凶，两个原因叠在一起。消费电子和汽车需求走弱，把原有的出货基本盘压掉了一截；同时市场看到推理几乎全在云端完成，端侧那点算力承载不了日常可用的大模型，成长逻辑没有落点。 模型侧最近出现了变化。DeepSeek V4 Flash 0731 是 284B 的 MoE，每 token 只激活 13B，两台 DGX Spark 用 200Gbps RoCE 互联做 TP=2，配合投机解码，单流解码落在 40 到 60 tok/s 这个区间，上下文拉到 40 万甚至百万量级仍然可用，prefill 在 1.7k tok/s 附近。数字随上下文长度、并发数和 draft 接受率浮动，但已经越过了”能日常用”的线。 Qwen3.8-27B 走的是另一条路，做完 NVFP4 量化加投机解码，单台 GB10 就能跑出可交互的速度。稀疏激活加低比特量化两件事凑到一起，把”本地能用”的硬件门槛压到了五六万这个量级的盒子上。 国内做端侧推理的公司不少都在往这个形态上靠，多卡互联之后的实测性能可以接受，对应的需求是个人、小团队，以及数据不能出门的小公司做本地部署。 产品线的距离也没有原来想的那么远。国内车规大算力芯片这两年为了做 L3 域控，单颗等效算力已经到七百 TOPS 量级，Transformer 硬加速和混合精度在架构里就有，高速片间互联的物理通道也已经存在，改造成互联卡的成本低于从零设计。今年车展上车规平台的开发板已经现场跑千问 VLM，有些端侧推理芯片也进了消费级 AI 主机，三十瓦整机功耗下本地能到几十 tok/s。 真正要算清楚的是内存和互联。MoE 省下来的是计算，省不掉的是权重容量和 KV cache 带宽，单卡挂多少内存、卡间用什么方案互联、能给到多大带宽和多低延时，决定了盒子跑得动多大的模型、多长的上下文，TOPS 反而是最不构成约束的一项。出货量级、毛利结构和客户结构跟车规业务也完全不同，这部分要单独建模。 市场此前给这批公司的定价，隐含假设是端侧长期不存在大模型场景。现在这个假设还站不站得住，值得重新看。

多数人觉得 OCR 卷到头了，无非拍照转文字。但腾讯混元刚开源的 HyOCR-1.5 跳出了这套路子——1B 参数纯视觉端到端模型，在 OmniDocBench v1.6 上以 94.74 分拿下端到端第一，推理速度还提了 6.37 倍。 传统 OCR 流水线要拼接检测、识别、版面分析多个模型，慢且重。HyOCR-1.5 一个模型端到端输出，还用了 DFlash 投机解码：并行猜测多条解码路径，快速筛最优结果，让推理大幅加速。在 Transformers 上快 6.37 倍，vLLM 快 2.14 倍，最后单页文档端到端推理只要 1.408 秒。原先处理百页要几分钟，现在半分钟搞定，成本跟着跳水。 更关键的是全栈开源。模型权重、训练代码、推理流程全部开放，没有 API 调用费，数据不离开本地。对天天要处理合同、发票、古籍的团队来说，这种又快又省还不泄露数据的方案，每月可能省出一个人力成本。 它的适用面也没局限在中英文。通过 Agentic Data Flow，HyOCR-1.5 扩展到了 331 种语言、古文字识别，还能做多图问答。128K 上下文窗口加上 4K 分辨率，长图、竖排文档都能直接处理，不用切块、不用额外对齐。 当然，开源不等于「无脑能用」。虽然 1B 参数消费级显卡就跑得动，但装环境、跑 Demo 还是需要一点技术底子。社区已经有热心人封装一键包，不过暂时不够傻瓜化；追求「上传即得结果」的朋友，可以蹲一下腾讯混元后续的云服务。 但我觉得，这款模型最大的价值不是技术指标——而是它把「高质量、低成本、全栈可控」这三件事同时装进了一个能跑在任何机器上的 1B 小模型中，让普通团队也能用上以前大厂才烧得起的 OCR 能力。开源给了杠杆，试错的门槛已经很低。 怎么踩上这个杠杆？👉 普通用户：关注腾讯混元公众号，先看技术细节，把云服务上线消息存下来。开发者：去 GitHub 搜 JevenYu/HyOCR，拉模型跑 Demo，立刻替换掉项目里那条慢速 OCR 管道。产品经理/创业者：拿几张你最痛苦的文档测一测速度、精度和成本，说不定下一个垂直文档处理工具的原型就出来了。

GM GN GG 距离 2027 年仅剩 180 天 AI圈今日速览 | 6.28，POLo 感觉今天最后一件事比前面九件加起来都扎眼 1. SpaceX注册了"SpaceXAI"商标，马斯克表示xAI将解散不再作为独立公司，未来只是SpaceXAI的一部分。xAI并入SpaceX，这步棋有点大 🚀（马斯克的智囊团都有谁？） 2. 苹果Vision产品组副总裁Paul Meade下周离职加入OpenAI硬件部门，他主导了Vision Pro和无屏幕AI眼镜研发。与此同时苹果首款触控OLED MacBook敲定用M5 Pro/Max芯片，预计2026年底到2027年初发布。核心高管被OpenAI挖走，AI硬件竞争肉眼可见在加速。 3. DeepSeek开源了DSpark投机解码框架，这不是新模型，而是给DeepSeek-V4挂载草稿模块做无损加速。生产环境下V4-Flash生成速度提升60-85%，V4-Pro提升57-78%，代码用MIT许可证开源 ⚡ 4. 一起伪装成新加坡VC面试的APT攻击被拆解，攻击者给目标发TypeScript仓库"测试题"，在patch文件里藏了base64混淆载荷，安装时写入后门PinpinRAT。作者已上报加拿大CCCS，供应链投毒手法越来越隐蔽 🔒 5. Runway API上线广告本地化Recipe，单次API调用即可翻译静态广告和图形素材，跨国广告投放的门槛又降了一截。 6. 前美国商务部长Raimondo发起非营利组织"Raise Us"，目标筹集10亿美元应对AI就业冲击，已锁定5亿。Amazon、Anthropic、Microsoft、OpenAI都掏了钱，将在四个州试点AI职业导航和再培训。但美国此前工人再培训效果普遍不佳，这次能不能成还不好说。 7. 美国企业AI账单失控后开始转向DeepSeek。旧金山公司Lindy此前每月AI开销超员工工资，本月已把100%流量切到DeepSeek，预计省下数百万美元。越来越多企业搞模型路由，不再把最贵模型用在所有场景 💰（dp 斩杀线的含金量不断在提升） 8. 阿里千问输入法macOS版上线，AI语音输入最快300字/分钟，自动润色、口语转工整文字，支持9种方言，没广告。iOS、Android、Windows版也快了。（这个对我没用，我喜欢打字，不喜欢说话） 9. 国家统计局数据，1-5月规上工业企业利润增18.8%，其中电子行业利润暴增103.9%，贡献了43.1%的增量。背后是AI技术变革推动高端算力芯片和存储芯片需求爆发。高技术制造业利润增44.7%，电子专用材料制造更是涨了665.4% 📊 10. Cursor研究发现编码智能体存在奖励攻击问题，智能体在SWE-bench Pro等基准测试中，63%的成功修复其实是靠检索已知修复方案而非独立推导。隔离git历史并限制网络访问后，Opus 4.8 Max分数从87.1%跌到73.0%。新模型比旧模型更容易出现这个问题，基准测试的可信度要打个问号了 ⚠️ #Ai# #ai新闻#

刚看了个视频，最近新出的 Qwen3.6 27B 大家都跑了吗？用单卡 4090 原生跑，速度才 20 Token/秒，写个代码慢得让人想砸键盘。 但他疯狂折腾了各种优化，直接把速度干翻了近10倍！这有点牛逼了，给大家说下他的优化方法。 干货全在这： 1️⃣ 4bit量化：速度直接翻倍，画质（精度）几乎不掉。 2️⃣ MTP投机解码：让显卡火力全开，一路飙到 108 Token/秒！ 3️⃣ 最新黑科技 DFlash：借用AI生图的思路搞文本，峰值直接干到 184 Token/秒，快到起飞！ 最牛的是现在有个叫 TurboQuant 的技术，能把缓存无损压缩 4 倍。就算你只有 24G 显存，也能跑满 200K 的超长上下文！但是哈，这是优化KV Cache的，场景优化现在不是很好... 等生态起来吧 别整天喊算力焦虑了，只要优化弄得好，你的电脑就是个小型数据中心！ 不知道大家跑的时候有没有去优化，后面都试试。 你的跑出来是多少？ #AI# #AIAgent#

分享一份最近收集的 AI Infra 入门阅读清单，建议收藏，慢慢看 AI 已经可以生成很多很好的内容，解释概念、翻译论文、整理资料，都越来越方便。但在这个时代，能静下心来，把一篇好文章认真读完，把没懂的地方再琢磨一遍，我觉得更加难能可贵 这次整理的材料，主要集中在大模型推理这一块。从 KV Cache、显存管理，到请求调度、推理加速，再到怎么判断性能有没有真正变好 做工程的朋友，可以顺着往源码和实验里走。平时看 AI 产业、算力和存储的朋友，也可以先把原理读明白 读文章，挑值得反复读的。 1. 如果只选一篇，我会选 Inside vLLM。 Inside vLLM: Anatomy of a High-Throughput LLM Inference System，作者 Aleksa Gordić 把很多零散的概念串进了一个真实系统：一个请求进来，怎么排队，怎么分配 KV Cache，怎么执行，最后又怎么把结果送回来 PagedAttention、continuous batching、chunked prefill、prefix caching、投机解码、P/D 分离、多卡和性能测试，都能在这条线上找到位置。 这篇适合当主线，后面的材料用来补不懂的地方 2. 想弄懂 continuous batching，先看 Anyscale 这篇。 Continuous Batching 博客 llm用户的回答有长有短，有的已经生成完了，有的还在继续。已经空出来的位置，能不能马上接下一个请求？ 这篇用静态批处理和连续批处理的对比图，把这个问题讲得很直观。看完你会理解，GPU 的效率，也取决于请求怎么安排 建议重点看图和机制 3. NVIDIA 的两篇，一篇帮你建立全貌，一篇教你怎么看性能。 Mastering LLM Techniques: Inference Optimization 适合先建立基本认识：处理输入的 prefill 和逐步生成输出的 decode 有什么区别，模型权重和 KV Cache 分别占什么空间，量化、批处理、多卡并行又各自解决什么问题 LLM Inference Benchmarking: Fundamental Concepts 这一篇我也很推荐。用户等多久才看到第一个 token，后面生成得快不快，整个系统一秒能服务多少请求，是不同的问题。TTFT、ITL、TPOT 这些指标，要连着测试口径一起看 4. 想再往下算一层，读 kipply 的 Transformer Inference Arithmetic Transformer Inference Arithmetic 这是一篇 2022 年的文章。它带你从计算量、内存容量、带宽和通信开销出发，估算推理为什么快、为什么慢，以及 batch size 改变后会发生什么 硬件和模型的具体例子有年代了, 作为 optional 选读

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma# #gemma# #gemma4# #google#