LLM 推理、工具执行、上下文记忆，三件都是往前走的部件，没有一件管在哪儿多跑一圈、在哪儿收手。 智能体的毛病往往是把力气用反了：最该反复打磨的地方一遍过，早该收手的地方一圈圈空跑，Token 全烧在那里。

之前做LLM推理芯片架构探索的时候，我把四大AI推理ASIC公司的架构都翻过一遍。Groq、SambaNova、Tenstorrent、Cerebras。前三家的思路虽然各有侧重，但底层逻辑都在同一个框架里：片上大SRAM + dataflow架构 + 确定性调度，核心差异在NoC拓扑、内存层级、编译器抽象这些维度上展开。 Cerebras是里面让我真正被震惊到的一家，而它却这四家里马上第一个拿到IPO结果的。 这家公司的选择比其他三家都激进一个量级：不做芯片，直接做整片wafer。 单颗WSE-3，21.5cm × 21.5cm的整片晶圆，90万个PE通过scribe-line stitching在物理上连成一片连续的silicon。这个工艺是Cerebras和TSMC联合定制的，把原本用于晶圆切割的窄条改造成跨reticle的金属导线，让所有reticle在物理上拼接成一整块芯片。（配图二展示了单颗WSE-3内部结构：左半边是整片晶圆的reticle网格和scribe-line拼接，右半边放大了单个PE的微架构。） 单个PE的结构极简：8-wide FP16 SIMD计算核，48KB本地SRAM直连，没有cache层级，所有数据访问都是确定性的单周期。加上一个5端口路由器（N/S/E/W + loopback），相邻PE之间的通信延迟也是单周期。关键在于，跨reticle边界的mesh在物理参数上和reticle内部完全一致，编译器和runtime完全不需要感知reticle边界的存在。 从LLM推理的视角看，这个均匀性的价值非常大。 LLM推理的瓶颈在decode阶段。每生成一个token，模型权重要被完整读取一次，计算量却很小，典型的memory-bound场景。GPU集群在这个环节的核心问题是数据搬运：HBM带宽有限，多卡之间还要经过NVLink → NVSwitch → InfiniBand → Ethernet四层互联，每一层带宽和延迟都差几个量级，编程模型必须显式处理每一层的拓扑边界。 Cerebras的做法完全绕开了这个问题。单片wafer内部fabric带宽27 PB/s，权重从外部的MemoryX存储集群通过SwarmX流入wafer后，在PE之间按数据流模式传播执行，同一套placement和routing算法跑遍整片wafer。（配图一展示了这个系统级架构：MemoryX参数存储集群到SwarmX互联fabric，再到底层最多2048台CS-3节点，权重广播和梯度规约的数据流方向一目了然。） 90万个PE各自带48KB SRAM，合计约42GB片上存储，每个PE对自己本地SRAM的访问是单周期确定性的，PE间通信每跳single-cycle，延迟和曼哈顿距离成正比。对于推理场景，前提是weight streaming的编译器能把权重有效地分配到对应的PE上，这42GB分布式片上SRAM的聚合带宽远超GPU的HBM方案，没有cache层级带来的访问不确定性，没有跨芯片搬运的开销。 回到我自己的体感。做推理芯片架构的时候，NoC拓扑和内存层级的权衡花了大量精力，因为芯片边界是硬约束，跨芯片通信的成本和片内通信之间永远存在断层。Cerebras的做法等于从片内通信的角度消除了这个断层，代价是整条制造和封装链都要重新定义。 这也解释了Cerebras的工程取舍。所有架构创新集中在wafer内部，scale-out方向直接复用100GbE + RoCE的以太网生态。wafer内27 PB/s对比跨CS-3的SwarmX在Tbps量级，几个数量级的差距全部交给商品化网络承担。推理场景下单wafer内部的带宽和延迟优势可以直接转化成token生成速度。 OpenAI选择和Cerebras合作做推理，从架构层面看逻辑是通的。大规模在线推理需要低延迟、高吞吐、确定性时延，这三点恰好是wafer-scale架构在片上通信均匀性方面的结构性优势。 但这套架构也有几个结构性的问题值得正视。 良率和成本是绕不开的。整片wafer做单颗芯片，任何一个reticle的缺陷都影响整体。Cerebras靠冗余PE和路由绕行来应对，但冗余比例和良率数据从未公开过。一片wafer的制造成本本身就远高于切割后卖单颗die的模式，叠加23kW、15U的单系统功耗和体积，部署密度和TCO在大规模推理集群的经济性上面临考验。 最关键的是KV cache的容量瓶颈。42GB片上SRAM看起来很大，但长上下文推理场景下KV cache随序列长度线性增长。以Llama 70B为参考，FP16下128K上下文的KV cache就要吃掉约40GB，即使做KV cache量化，长序列场景下的容量压力仍然显著。片上放不下的部分必须依赖MemoryX做外部存储，数据要经过SwarmX回传，这条路径的带宽在Tbps量级，和wafer内部27 PB/s的差距意味着长序列场景下decode速度会被外部带宽卡住。这可能是Cerebras在推理场景面临的最核心的架构约束。

去年推进和azure合作的时候，我真诚给了一个提议，llm 推理服务能不能和电力一样，给一个波峰波谷动态定价策略，现在很多agent task已经是自动任务，完全可以安排波谷执行。云厂商可以拉大资源利用率，重度客户也可以从中收益。 不知道哪个厂商能第一个做出这个改变。

☂️ 还没正式开盘， Cerebras 已经成为了市场的焦点。 ⚡ 一颗主打 LLM 推理场景的“巨型芯片”， 号称部分场景下速度可对标 NVIDIA B200 的 21 倍。 🔥 市场已经投票： 20 倍超额认购，发行价一路抬至 $185。 🤝 与 OpenAI 达成超200亿合作条款， AWS 已将硬件集成于Bedrock 服务。 推理算力这条线，正在从概念走向订单和场景验证。 💡让优质资产自由流通， 链上美股用麦通。 #MSX# #麦通# #链上美股用麦通# #CBRS# #Cerebras# #AI#

投机解码的 drafter 从来都是一个 token 一个 token 地猜。做出 DFlash 的推理公司 Inco AI 说这没必要：正确的 token 本来就在候选列表里，整块并行预测之后挑出一条连贯路径，输出不变，每次验证多赚一个完整的 token。 《DFlash 2：保持并行起草》 推理是 agent 时代的瓶颈。agent 会读、会规划、会调用工具，常常一跑就是几小时甚至几天。它们消耗 token 的速度，是聊天场景从未达到过的。而每一个 token 都要在模型上跑一次完整的前向传播。在 Inco AI，我们在构建一套面向未来 token 经济学的推理栈。这篇文章是一次预览。 我们的团队 1 月发布了 DFlash（论文： SGLang、vLLM、TensorRT-LLM 和 llama.cpp 里。NVIDIA 在 Blackwell GPU 上用它测到了最高 15 倍的吞吐；Google 报告在 TPU 上每秒 token 数提升 3 倍；CoreWeave 生产环境的 Kimi K2.7 Code 端点（Artificial Analysis 上该模型最快的端点）默认就跑 DFlash。生态已经在它之上构建：NVIDIA、Red Hat、Modal 都发布了 DFlash drafter；Meta（Muse Glimmer）、Poolside（Laguna）、小米（MiMo-V2.5-Pro）、NVIDIA（Nemotron 3.5 Lightning）随自家模型发布官方 drafter。在 Hugging Face 上，DFlash 模型被下载了超过 350 万次（截至 2026 年 8 月）。 投机解码是现代推理栈的核心组件之一。一个小 drafter 模型猜出一整块 token，目标模型在一次前向传播里验证整块。猜得好，一次前向变成多个 token；猜得差，丢掉重来。但多年来，起草本身一直是自回归的：一次一个 token。DFlash 让它也变成了一次通过：整块、每个位置，并行预测。 （演示视频：DFlash 2 在 Apple M5 Max 上用 oMLX 为 Qwen3.8-27B 起草，与自回归解码并排对比。 DFlash 2 把并行起草又往前推了一步：每次验证通过多产出 20% 以上的输出，增加的周期延迟只有约 1%，而输出可证明不变。跨基准测试的增益在 16–25%。配合今天发布的 Qwen3.8-27B drafter，SGLang 在 batch size 1 下达到自回归解码 2.7–3.4 倍的吞吐。每个位置独立预测，留下两处空间：选对 token，以及在块的末尾守住准确率。DFlash 2 把这两处都拿了回来，同时没有放弃一次性通过的设计。 现在就能跑 DFlash 2 已经跑在主流推理引擎里。 SGLang： pip install -U "sglang[all] @ git+" python -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --speculative-algorithm DFLASH \ --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \ --speculative-num-draft-tokens 8 vLLM： pip install -U "vllm @ git+" vllm serve Qwen/Qwen3.8-27B \ --speculative-config '{ "method": "dflash", "model": "incoai/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7 }' llama.cpp： git clone cd llama.cpp git fetch origin pull/27342/head:pr-27342 git switch pr-27342 NVIDIA CUDA cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON cmake --build build -j Apple Silicon cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON cmake --build build -j ./build/bin/llama-server \ -hf ggml-org/Qwen3.8-27B-GGUF:Q4_K_M \ -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \ --spec-type draft-dflash \ --spec-draft-n-max 7 oMLX：下载安装支持 DFlash 2 的预构建版（ 在 oMLX 里跑 Qwen3.8-27B 加 DFlash 2： 1. 打开 oMLX 的 Model Downloader，下载 mlx-community/Qwen3.8-27B-4bit 和 incoai/Qwen3.8-27B-DFlash2。 2. 打开 Model Manager，编辑 mlx-community/Qwen3.8-27B-4bit，配置 DFlash： • DFlash：enabled • Draft model：incoai/Qwen3.8-27B-DFlash2 • Draft quantization：enabled • Runtime block size：5 • Verify mode：dflash 3. 保存设置，加载目标模型。 对的 token 早就在候选里 DFlash 每个位置独立、并行地预测。每个选择单独看都合理，但没有什么让它们彼此咬合，一个不连贯的块会在验证时被截断。近期的方法如 Domino 和 DSpark，用顺序的 Markov head 重写每个位置的完整词表分布来买连贯性。但真的需要这种昂贵的自回归纠错吗？ 不需要。证据就在 DFlash 自己的候选列表里。拿第一个位置来说：DFlash 的第一选择 85.4% 的情况下是对的，但正确的 token 99.5% 的情况下都在前 16 个候选里。即使第一选择错了，对的 token 通常也在列表上。 表 1：Recall@1（第一选择正确的概率）与 Recall@16（正确 token 出现在前 16 候选里的概率），按起草位置统计，条件是前面每个位置都正确。GSM8K 上的五层 Qwen3-4B DFlash。接受长度包含验证器产出的下一个 token。 • 位置 0：Recall@1 85.4%，Recall@16 99.5% • 位置 1：80.3%，97.3% • 位置 2：79.4%，94.8% • 位置 3：78.3%，92.6% • 位置 4：77.5%，90.8% • 位置 5：75.9%，89.4% • 位置 6：72.9%，87.8% • 接受长度：4.27（只看第一选择）；6.79（从前 16 里选） 一个总能从前 16 个候选里挑对的那个 oracle，会把接受长度从 4.27 抬到 6.79。这个差距是纯粹的选择空间。我们只需要在候选里选出一条正确的路径。 图 1：一个周期里的选择器。只用 DFlash，每个位置保留自己的第一选择；这里两个相邻位置选了同一个词，结巴在验证时死掉。DFlash 2 保留每个位置的 top 候选，选择器在候选之间走出一条连贯路径；这里整块都活了下来。 一个轻量的路径选择器 连贯性大体是局部的：一个候选合不合适，主要取决于它前面的那个 token，所以给相邻对打分应该就够了。DFlash 2 保留每个位置前 16 个候选，给每一对相邻候选打分。对前一个 token a 和当前候选 b： S_t(a,b) = U_t(b) + ⟨A(a)⊙H(h_t), B(b)⟩ 分数分两部分。第一部分 U_t(b) 是 DFlash 自己的 logit：drafter 本身有多喜欢 b。第二部分问 b 接在 a 后面有多顺：A 和 B 给每个 token 一个紧凑的 256 维嵌入，两个嵌入在一个上下文门控 H(h_t) 下匹配，门控决定匹配的哪些部分算数。本质上，这是对相邻候选做的低秩双线性注意力。 打分全程并行。每个位置的每一对相邻候选一次性全部算完，不需要额外的 backbone 或 LM head 前向。唯一串行的部分，是最后在预计算好的分数上走一遍：从最后一个已验证 token 出发，贪心地跟着每一步最好的后继走，采样从同样的分数里抽取，拒绝采样恢复出精确的目标分布。 表 2：只加路径选择（不加卷积）的接受长度，GSM8K 上的五层 Qwen3-4B。开销相对纯 DFlash：drafter 增加的参数、起草-验证周期增加的延迟。 • DFlash：T=0 下 4.27，T=1 下 3.78 • + DSpark 纠错：+77.8M 参数，+9.6% 延迟；4.49，4.08 • + 路径选择（我们的）：+2.0M 参数，+0.6% 延迟；4.61，4.25 选择器在 T=0 下给 DFlash 加 0.34 个 token，T=1 下加 0.47。两个设置下都超过 DSpark 的纠错，参数少约 40 倍，延迟开销低 16 倍。选择比预测便宜。而且还有空间：oracle 能到 6.79。成对打分是我们能想到的最简单的选择器，我们相信这里还有很多可探索的。 后缀衰减是个局部问题 我们还注意到上面两行 recall 都在块尾下滑。连 oracle 都在衰减：即使选择完美，准确率仍然从第一个位置的 99.5% 掉到最后一个位置的 87.8%。没有选择器能修这个，因为候选自己就不够了。我们把这个叫后缀衰减，它是 backbone 的问题。 一个嫌疑是容量：五层 backbone 可能太小，撑不住横跨整块的依赖。如果真是这样，深度应该在靠后的位置帮上最多的忙。事实也如此：3 层、5 层、15 层的 DFlash 模型在第一个位置上几乎一样，越往块尾分得越开。但深度不加区分：多十层 attention block 到处加容量，连那些没什么可赚的靠前位置也加，把 DFlash 吸引人的那部分效率磨掉了。 图 2：GSM8K 上 Qwen3-4B 的 Recall@1（T=0），条件是前面每个位置都正确。所有 drafter 在相同设置下训练；卷积模型评估时不带选择器。它的卷积增加 3% 参数和 0.7% 周期延迟；15 层模型多出的十层增加 15.2%。 我们要一个有针对性的修法，而 DFlash 的 attention 指出了修哪里。它有两份工作：读块之前的上下文，以及建模块内部的依赖。但它在第二份上花的越来越少：块内注意力占比从第 1 层的 30% 掉到第 5 层的 8%，剩下的还集中在越来越少的一小撮 head 里。所以我们把两份工作拆开：一个专用模块承担块内工作，attention 继续读上下文。 图 3：五层 Qwen3-4B DFlash 的块内注意力按 head 分布。越亮的格子代表在起草块上花注意力越多的 head；靠后的层里，块内质量收缩、集中到少数几个 head。 一个轻量的局部卷积 块内工作本来就是短程的：一个块只有 4 到 16 个 token，最紧的依赖坐在相邻位置之间。自然的算子是短卷积：两个抽头，一个在当前位置，一个够到前一个位置，权重随内容自适应。跟随 Canon Layers、Dynamic Short Convolutions 和 Convolution for Large Language Models 的做法，我们在每个 attention 和 feed-forward 子层前后插入这个双抽头动态深度卷积： Conv_k(x)_t = k_{t,0}⊙x_t + k_{t,1}⊙x_{t-1} 每个系数由一个可学习的基核加上从当前隐藏状态算出的一个小修正组成；每 16 个通道共享一个修正。第一个位置读最后一个已验证 token 的表示，之后的每个位置读它前一个的。信息穿过整块，同时所有位置仍然并行计算。 图 4：双抽头动态卷积。每个 drafter 层的每个 attention 和 MLP 子层前后各有一个。内部：每个位置把自己的表示和前一个的混合；第一个位置读最后一个已验证 token。 卷积是块局部的、无状态的，所以能无缝插进 DFlash，不用动 attention、LM head 或验证。 只加 16.5M 参数（3%），带卷积的五层 DFlash 就逼近了 15 层 DFlash，大幅减轻后缀衰减。卷积给起草-验证周期延迟加 0.7%；多十层 Transformer 层加 15.2%。第 4、5 层的平均块内注意力从 9.4% 降到 0.5%，与卷积吸收局部工作、attention 回到读上下文一致。一个只够到前一个位置的核，买回了十层额外层的大部分收益：后缀衰减大体是个局部问题。 合在一起 到目前为止，选择器和卷积是分开测的；下面的完整对比把它们放在一起。DFlash 和 DSpark drafter 是我们在对齐的设置下自己训练的，MTP 随模型发布。 表 3：Qwen3.5-4B 每请求平均接受长度。采样：thinking 开启，温度 1.0，top-p 0.95，top-k 20，presence penalty 1.5，无损拒绝采样。 • GSM8K：MTP 4.78，DFlash 4.99，DSpark 5.69，DFlash 2 6.20 • MATH-500：5.04，5.42，6.20，6.76 • HumanEval：4.84，5.43，5.80，6.28 • MBPP：4.16，4.49，4.96，5.41 • MT-Bench：3.90，4.26，4.77，5.20 • 平均：4.54，4.92，5.49，5.97 DFlash 2 在每项基准上都领先。平均下来，它比 DFlash 多 1.05 个 token（21%），比 DSpark 多 0.48。升级仍然便宜：选择器和卷积加起来，只给五层 DFlash 的起草-验证周期延迟加了 1.3%。 在 MATH-500 上，增益逐位置可见：DFlash 2 到最后一个位置都稳在 86% 附近，而每个基线在块尾都比它低 6 到 9 个点。 图 5：MATH-500 上 Qwen3.5-4B 的条件接受率，采样同上。 两个 drafter，今天发布 我们今天发布两个 DFlash 2 drafter：一个给 Qwen3.8-27B（ Meta 的 Muse Glimmer（ Qwen3.8-27B，我们对比模型原生的 MTP 路径和一个社区 DSpark drafter。 表 4：Qwen3.8-27B 每请求平均接受长度，模型默认采样、块大小 8，对比原生 MTP 路径和社区 DSpark drafter。 • GSM8K：MTP 5.02，DSpark 4.36，DFlash 2 5.46 • MATH-500：4.72，3.92，5.28 • HumanEval：3.91，3.30，4.39 • MBPP：3.99，3.51，4.79 • MT-Bench：3.74，3.01，4.10 • 平均：4.28，3.62，4.80 对 Meta 的 Muse Glimmer，我们对比随模型发布的官方 DFlash drafter 和一个社区 DSpark drafter。 表 5：Muse Glimmer 每请求平均接受长度，模型默认采样、块大小 16。DFlash 是 Meta 随模型发布的官方 drafter；DSpark 是社区 drafter。 • GSM8K：DFlash 5.43，DSpark 5.45，DFlash 2 6.57 • MATH-500：5.39，5.01，6.56 • HumanEval：4.11，4.33，5.66 • MBPP：3.74，4.02，5.30 • MT-Bench：3.52，3.59，4.42 • 平均：4.44，4.48，5.70 差距很大：在两个模型上，DFlash 2 平均比 DSpark 多出超过一个完整的 token。它也超过每个模型的官方 drafter：Qwen3.8-27B 的 MTP、Muse Glimmer 的 DFlash。换算成吞吐，Qwen3.8-27B 上达到自回归解码的 2.7–3.4 倍，Muse Glimmer 上 3.1–4.6 倍。模型卡（ 底线 agent 一个下午写出来的东西，聊天机器人要写一个月，而每一个 token 底下都坐着解码。DFlash 2 以接近自回归解码 3 倍的速度解码，每个 token 约三分之一的算力，输出相同。 七个月里，DFlash 从我们的论文变成了行业标准，超过 350 万次下载。在同一个设计内部，DFlash 2 每次通过多解码一个完整的 token，免费。那还只是服务栈的一个组件。推理离它的地板还很远。 在 Inco AI，我们在构建一套端到端的服务栈，把这个地板继续往下压。DFlash 2 是第一块。两个 drafter 今天发布在 Hugging Face。 如果你在规模化地服务 agent，想在你的栈里评估 DFlash 2，或者想为你跑的模型（包括你自己的微调）要一个 drafter，写信给我们：contact@inco.ai。 我们也在招人。如果你想一起构建这套栈，联系我们。 把候选连起来。起草，继续并行。 脚注：Modal 的 Speculation Is All You Need 指出，投机解码是对低延迟服务最重要的优化。我们是他们工作的超级粉丝，感谢他们自 DFlash 发布以来的支持和讨论。 本文引用格式：@misc{inco2026dflash2, title={DFlash 2: Keep Drafting Parallel}, year={2026}, month={August}, url={ 原文： #DFlash# #投机解码# #LLM推理#

推荐这篇文章。Redis 作者 antirez 的核心论点：控制想法比控制代码更重要。 他认为审查 AI 代码已经"大部分毫无意义"——真正该做的只有两件事：掌控设计，拼命做 QA。 看看这个博客过去的历史。有很多关于用 AI 编程的文章，其中一些可以追溯到 2024 年 1 月。毕竟，我是一个还算受尊敬的开发者。我不需要作为一个寻求关注的老头子留在"圈子里"，我最近重新加入了 Redis，现在还在开发一个本地 LLM 推理的开源软件，在社区里受到了不错的欢迎。为什么我继续做这件事——说人们不想听的话？为什么我一直宣布未来的编程默认会是什么样子？因为我感到有一种紧迫感，想降低那些比我更没准备好应对变化的人受到的冲击，他们通常比我年轻，而且不像我，没有预见其中许多事情的发生（在 ChatGPT 出现之前，我就在 2022 年出版了一本书，预示了许多现在已经发生的事情，以及我相信将会发生的事情，所以我觉得我可以说这些而不显得自我中心）。 所以我的做法是一个技巧。人们越来越觉得编程被 AI 彻底改变了，不知道该怎么办，不知道自己是否真的可以用一种完全不同的方式开始编码，不再把代码当作主要的产出。他们觉得在背叛自己的领域。所以我的意图是站出来说"看着我，我会写代码，你知道的，我没有躲在 AI 后面：然而，事情变了，这不是你的弱点，不是你中了 AI 的毒。只是我们的领域正在朝着一个令人难以置信同时又痛苦（但也快乐）的方向演进。" 这就是为什么昨天我在 X 上说，我相信许多程序员现在的影响力比他们本可以达到的要小，因为他们在盯着代码看。我真的相信这一点。请注意，这并不意味着用 vibe coding 的方式直接要最终产品。重点是：如果你掌控了你软件的想法，盯着代码本身是次优的，而且常常毫无意义。 原因如下： 1. 你现在可以生成大量代码，即便不计算 LLM 的代码啰嗦问题（那也大部分是因为你还不能很好地 instruct 它们）。你打算怎么每天审查 5000 行代码？ 2. LLM 非常擅长写局部最优的代码，但在大想法上更弱（虽然在改进）。逐函数、逐行地扫描有什么意义？相反，你应该把你心里的设计 prompt 进去，有时候问"那个部分的精确设计是什么？它是怎么工作的？"然后评估它是不是正确的模型。这快得多。 3. 工作日是 8 小时。如果你在读代码，这是一个取舍。你在减少做另一件事的时间——今天你工作中最重要的那部分：问自己"我在用这个软件做什么？我想往哪个方向走？"以及想新想法、新功能、优化技巧。以及做大量的 QA。 掌控想法。记得《人月神话》里的这句话吗？一本 70 年代的书告诉我们关于当前软件时代的东西，比 2000 年到 2020 年间说的很多东西都多。为什么现在抗议 AI 的人，没有被过去十年软件的状态所震惊？我们在最近几年——在 AI 之前——触碰到的 slop 水平是不可想象的。我再告诉你一件事。什么是 slop？用 DwarfStar 我完全自动化地实现了两个 LLM（DeepSeek v4 和 GLM 5.2）的推理：但你自己试试，你会发现你不能只是说"实现 XYZ"然后就看到它能用。你必须理解事情是怎么运作的，什么是最好的设计，如何达到某个性能水平。然后我把实现和其他系统做了对比，检查正确性，发现其他实现有时包含更多错误。我进一步研究，发现本地推理领域充满了微妙的错误，累积起来会损害模型输出——attention 实现中的问题导致上下文超过某个限度后性能滑坡，因为索引 attention 的实现是坏的（比如做了超过应该做的工作），等等。这是一个非常复杂、快速变化的领域，每天都有模型发布，推理图彼此略有不同。对开发者来说，这是一个不公平的游戏。好吧：AI 在这方面的帮助极大。在许多领域，严谨的工程（在设计层面）和测试远好于手写一个 GPU kernel（或逐行读它）。所以我们确定大部分抵抗不是意识形态吗？ Matteo Collina 昨天回复我的推文问我：但你不是说过你会检查 Redis 的所有 AI 生成代码吗？这确实是一个好问题。是的，我做，但这在这一点上是我需要做的事情，但我相信大部分时候是毫无意义的——部分是在 GPT-5.5 发布之后，但现在有了 Fable 和 GPT-5.6 Sol 更是如此。是的：我发现了一些我不喜欢它们被编写的方式，但如果我打开其他 Redis 贡献者写的 Redis 文件，里面有远更糟糕的东西，不是因为他们不是好的程序员，而是因为这是一个品味问题。我写非常干净的代码，因为我希望它是可读的，所以在 Redis Arrays 的实现过程中我做了修改。我现在又在为 Redis sorted sets 的 50% 内存节省优化做同样的事，一个我很快会提交的 PR。但我不觉得这还有用了。没有人应该再盯着这段代码看，而应该只看代码包含的想法。我继续这样做是出于对用户的尊重。Redis 已经是一个被广泛使用的东西，许多程序员会打开文件，手动修改东西。但如果我完全自由，你知道我会怎么做吗？把审查占用的所有时间用来做更多的 QA，想下一个优化思路并应用它，以及用 LLM 写一个 DESIGN.md 文件——用人类语言描述每个数据结构，包含它承载的想法、实现技巧和设计。将来，这比审查代码有用得多。 你想修改 sorted sets？你打开文件，读设计文档，你就拥有了这些想法。你可以打开 agent，用正确的思维模型让它帮你做事。这比审查代码有用得多。 Fable 和 GPT-5.6 对 sorted sets 内存节省的审查，将比我自己的审查发现更多的错误和微妙的竞态条件。然而我还是会做。但对于大多数软件项目，所有这些已经不再有意义。专注于掌控想法。专注于质量、测试、以及对你想要交付的软件有一个清晰的构想。世界变了，这是痛苦的，但同时也充满了机会——去改善一个已经彻底腐烂的软件世界。 我只有一个疑问，关于那些经验不够、无法建立心智模型的年轻程序员。我们不知道他们是否需要深入理解一段代码是怎么工作的，但我相信他们应该学怎么写程序。然而，我不确定检查 LLM 输出是不是他们应该做的正确的事。学一门编程语言，实现一个小解释器、一个小数据库、一个哈希表等等——这可能有用得多。审查某个客户网站的 JavaScript？算了吧，别把时间浪费在那上面。 原文： #AIProgramming# #SoftwareEngineering# #antirez#

$CBRS 上線 StableStock 5 月 14 日掛牌首日同步交易 Cerebras Systems —— 英偉達最強勁敵，衝擊年內美國最大 IPO。晶圓級引擎(WSE)、片上記憶體達 GPU 的 880 倍、LLM 推理速度快 15 倍。手握 OpenAI 200 億美元訂單與 AWS 合作,2030 年營收看至 50 億美元 5 月 14 日即可於 StableStock 以穩定幣交易 $CBRS

被低估的真相：Agentic AI 是一场以"存储"为中心的范式革命 1/ 一句话观点 Agentic AI 的核心，不是算力，是记忆。 新硬件层级正在变成： ① 记忆（HBM / DRAM / NAND） ② 并行计算（GPU / ASIC） ③ 协调者（CPU） CPU 早就不再承担主要计算逻辑。 2/ 第一性原理 人类对"智能"的终极追求只有两件事： 无限记忆 + 无限计算。 我们日常评价一个人聪不聪明，无非两点： "记性好" + "脑子转得快"。 机器智能在沿着同一条路前进。 3/ 先说市场已经讲过的故事：HBM LLM 推理的 decode 阶段是典型的 memory-bound 任务。 每生成一个 token，都要把整套 KV cache 从显存里搬一遍。 带宽不够 → 昂贵的 GPU 直接闲置。 这就是为什么 GPU 每升一代，HBM 的带宽和容量都在追着涨。 4/ 市场没怎么讲的故事：1M context 不是在 GPU 集群里组装的 我们天天说的"1M context"，并不是在 AI 推理集群中拼出来的。 它的真正组装地点，是 跑 Agentic 系统的传统服务器（CPU + 大 DRAM）。 5/ 那些传统服务器在做什么？ • 加载用户的长期 / 短期记忆 • 加载 agent 的系统规范（system prompt） • 加载 skill / tool / subagent 的说明 • 拼到超过 1M token 时，还要做压缩 这一整套，全部跑在 Agentic 服务器的 DRAM 里。 6/ 对比过去的互联网 / 移动互联网 过去几乎不处理用户上下文。 只有搜索 / 推荐 / 广告才会留一点用户画像， 数据量大概只有现在 Agentic 系统的 1/20，甚至 1/100。 7/ 供应链已经在反映这件事 服务器的 CPU : DRAM 配比，正从 传统的 1 core : 4 GB 升级到 1 : 16，并继续往上走。 8/ 但远不止"4 倍存储"那么简单 Agentic 状态下，单颗 CPU 能服务的用户数，只有过去的几分之一。 当整个 IT 都切到 Agentic： • CPU 数量：增长 几倍 ~ 十几倍 • DRAM 总量：增长 几十倍 ~ 上百倍 9/ 结论 Agentic AI 是一次以 "存储 + 并行计算" 为核心的范式迁移。 软件范式变了，硬件范式也跟着变。 只有真正读懂技术的人，才会理解： 这一轮存储不是周期，是范式。 10/ 时间维度 考虑到： • 人群渗透率还很低 • 单用户使用深度还很浅 未来至少 5 年，看不到这轮存储需求的周期顶部。 （拉长时间看万物皆周期，但这一轮远没到拐点） $MU $DRAM $SNDK

这个项目@inference_net我感觉可以跑一下GPU节点，15号刚获得了a16z和Multicoin 领投的1180万美元融资，两个投资机构一流，发现sol官方和这个项目也是眉来眼去的，官推有互动，SOL链上做的这些项目有一定的优势，目前有仅2500个运行的GPU节点 页面传送门： Inference 是一个基于 Solana，用于 LLM 推理的分布式 GPU 集群，为DeepSeek V3和Llama 3.3等模型提供快速、可扩展、按 Token 付费的 API