🧠 震惊，vllm 这个开源项目基本是半个 AI 圈跑大模型推理的底座，GitHub 直接冲到 9.1 万 star 登顶封神。 它最早是加州大学伯克利分校 Sky Computing Lab 做出来的，现在贡献者超过 2000 人。 你要把一个开源大模型部署成能对外服务的接口，用原生的推理脚本很快就会遇到显存爆掉、并发一高就卡死的问题。vllm 靠 PagedAttention 这套显存管理，把注意力缓存切成小块按需分配，配上连续批处理和前缀缓存，同样的显卡能扛住高得多的吞吐。 它给的接口还兼容 OpenAI 的 API，连 Anthropic 的 Messages API 都支持，Qwen、Llama、DeepSeek-V3 这些主流模型换一行地址就能接上。 PagedAttention 那篇论文还进了 2023 年的 SOSP，可以说这波大模型部署的效率是它带起来的。 GitHub：

本地用vLLM部署GLM-5.2的速度终于上来了! 好消息终于轮到本地部署 GLM-5.2 了! 大家都知道 GLM-5.2 这次是自带了MTP头的, 可以进行推测性解码. 但是, 这个只适用于bf16原始精度的GLM-5.2, 而这玩意原始精度要到1.5TB, 本地跑的很少有富到这个程度的, 所以大家都用各种量化版本, 毕竟4bit量化就只要430GB了. 问题这就来了, 由于 GLM-5.2 的 MTP 采用了非常特殊的 DSA (动态稀疏注意力), 导致目前几个推理引擎 (llama.cpp, vLLM, mlx) 都无法支持. 其中 llama.cpp, mlx 是完全没办法开 MTP, vLLM 只支持FP8精度的. 而SGLang 没事哈, SGLang 架构比较屌上来就支持同一个计算流使用混合精度. 所以直接用 GLM-5.2-W4AFP8 就行. 所以回到这几个不支持的推理引擎, 大部分的量化版本 GLM-5.2 开了 MTP 反而会掉速度. 甚至有的量化版本直接把MTP部分给砍了(mlx). 而社区作者dnhkng搞了个缝合方法, 最终搞出了 GLM-5.2-AWQ-INT4-FP8-MTP-delta, 即 底座用 INT4（走 Marlin 算子）+ MTP 用 FP8（保持精度）同时还能让vLLM 支持. 速度从原来的 2 token/s 直接飙升到了 43.39 token/s (绑定NUMA+MTP-3) 所以目前位置 SGLang 和 vLLM (魔改版)都能直接火力全开跑带MTP的 GLM-5.2了. 而 llama.cpp和mlx用户还需要再等等. 社区还在弄. 这个作者的blog (过程极其精彩, 有不少优化技巧): #glm52# #mtp# #dsa#

在 LinkedIn 点赞了一篇 vLLM Semantic Router 的帖子，结果算法开始接二连三给我推荐 Model Router。我只能说继续学习，虽然感觉已经快看不懂了🫤 简单理解，vLLM 就像一家高并发餐厅： 应用层是顾客，API Gateway 是服务员，Foundation Model 是厨师，GPU 是炉子，Semantic Router 负责判断每道菜应该交给哪个厨师。 Continuous Batching：把不断进来的多个请求动态拼在一起处理，尽量别让 GPU 闲着。 PagedAttention：把 KV Cache 分页管理。KV Cache 就是模型推理时用来“记住前面已经算过的信息”的缓存，这样请求可以随时加入和退出，也不会因为连续内存分配浪费大量显存。 Semantic Router：根据请求的内容、难度、成本和延迟要求，把任务分配给最合适的模型。 以前是所有问题都找同一个大模型，现在是简单问题给便宜模型，复杂问题再找顶级模型。AI 基础设施已经开始进入精细化运营阶段了。

在最近的开源热潮中，SGLang和vLLM等开源推理引擎成为算力优化的核心技术。DeepSeek、Kimi等模型一上线就实现Day-0支持，昨天Google Cloud TPU也官宣引入SGLang。 这背后是AI Infra的千亿级市场和需求：当推理成为AI的主战场，GPU看似满载，却仍把大量时间耗在重复计算、缓存搬运和任务等待上。AI Infra深处，一场围绕调度与系统优化的效率革命已经开始。为什么最昂贵的GPU仍会“又忙又闲”？AI Infra还能榨出多少藏在“硅”里的性能？当算力增长不再只靠堆卡，AI竞争的尺度会被怎样改写？这期视频，我们与推理引擎开源社区SGLang孵化出的RadixArk团队一起，深入探讨这场算力效率变革。

感觉我也可以魔改 sglang 、 vllm ，用于调试 DSpark 这类新能力， 看看效果是不是和吹的一样好。 现在租用一个 GPU又不贵。 大模型预训练需要烧很多钱，烧很多数据才能验证， 大模型推理看起来门槛并没那么高，小成本也可以验证/验收能力。

Multi-agent 不再是玩具 demo 100+ agents 协作一周，把 Gemma 4 在 vLLM 上加速到原来的 5× 自发的沟通规范、配额池化、算力分工、跨 agent kernel debug、显著性标准…… 更像是在观察一个新型“AI 研究社区”从零开始长出来。

⚡ 震惊，有人为了让 Qwen3.8-27B 在单张 RTX 5090 上跑得更快，硬是把 vLLM 改了七轮，成果就是 Qwen3.8-Inference-MetaZenith 这个分支。 效果是拿数据说话的：基线版和优化后的 R107 版跑了 18 组对比，生成吞吐的几何平均从 51.9 提到 84.9，涨了 63.5%；上下文拉到 65536、并发为 1 的那一档，涨幅直接到 310%。 自己编译 vLLM 折腾过 Blackwell 卡的应该有体会：装 CUDA Toolkit、对着编译目标一个个试，编出来还不一定比官方版快多少。 Qwen3.8-Inference-MetaZenith 把调好的结果整个端出来了。它基于 vLLM v0.27.1，动了 24 个上游文件，加了三千三百多行，七个阶段挨个啃——解码调度、输出投影、精确解码内核、批量预填充调度、预填充融合，重点都压在 TurboQuant 和 Gated Delta Network 这两条执行路径上。预编译好的 wheel 也放出来了，装 wheel 这条路不需要 CUDA Toolkit 和 nvcc，驱动对得上就行。 说清楚适用范围：它是给 sm_120 的 RTX 5090 加特定模型做的专用分支，换卡换模型就不是这个故事了。 这么窄的一个场景居然有人认真调了七轮，属实硬核。 GitHub：

🎉GLM-5.3-Flash 实测也来了，依然是上次的 4 张 141 GB H20配置，分别跑通 SGLang 和 vLLM，使用官方 FP8 权重、BF16 KV Cache、近 1M 上下文的实测 1. 短请求测试：SGLang 1 并发 74.7 token/s，32 并发 847.1 token/s；vLLM 分别为 107.7、1156.9 token/s 2. 运行环境：SGLang 功能验证更加完整，已接入 OpenWebUI；vLLM 使用专用预览镜像，测试时主仓支持尚未合入。本轮均关闭 MTP 3. 官方 FP8 权重 62 个分片，合计约 328 GB，每卡权重显存约 75 GiB；SGLang 权重加载耗时 130.59 秒，vLLM 最慢 Rank 耗时 365.69 秒 4. 两套引擎均通过近 1M 上下文请求和大海捞针测试，104 万 Token 输入的冷缓存首 Token 延迟分别为 167.69 秒、160.96 秒；本次没有复现 SGLang 社区 262K 边界崩溃的问题

今天继续跟一下 CMP 170HX。 这次没有80G神迹，反而抓到一个挺有价值的软件坑。 8G版解锁64G以后，有人在 CUDA 13.3 + vllm.cpp 下第一次 CUDA Graph capture 就直接炸，报 CUBLAS_STATUS_INTERNAL_ERROR。第一反应很容易怀疑显存、地址映射，甚至怀疑170HX又抽风了。 结果现在基本查清楚了，不是卡坏了，是 CUDA 13.3 的 cuBLASLt 在 graph capture 里查 heuristic 的兼容性问题。 修复也已经出来了，提前把 GEMM heuristic cache 好，再进 CUDA Graph，同一张64G 170HX 连续测试正常，而且 token 输出一致。把 cache 关掉，又能100%复现原来的报错。 更有意思的是，后来 GB10 上也复现了同样的问题。 所以这个结论很重要。 以后170HX报 CUDA error，别第一时间就说显存坏了。现在这个生态已经进入一个新阶段了，很多问题不是硬件解锁本身，而是驱动、CUDA、vLLM、graph capture这些软件层一层一层互相打架。 8G版64G继续往生产卡方向走。 10G版40G正常推进。 10G版80G，还是老规矩，没看到多人独立复现，全显存唯一pattern，多CUDA context，再加24到72小时0 Xid 0 error之前，我还是当彩票。

CMP 170HX 今天又有一个比较实在的进展。 8G版解锁64G之后，已经有人单卡把 Qwen3.8-27B 跑到 200K 级真实长上下文了。 vLLM 0.27.1，175W，不超频，1K 大概84 tok/s，64K 还有75 tok/s，200K 还能跑57 tok/s，而且做了160K左右的 needle retrieval，不只是显存能分配出来，是真的在跑长上下文。 温度也还不错，持续负载核心大概66度，显存71度，功耗173W左右。这个和之前170tune测出来的175W甜点位基本对上了。 但我还是那句话，别一看到256K、262K就高潮。 现在公开证据能确认的是200K级真实跑通，不是262K连续跑几天，更不是24到72小时 serving 0 Xid。 还有一点，这个案例用的版本并没有包含最新的 WPR2 修复，所以它证明的是长上下文能力，不代表满显存稳定性问题已经彻底解决。 目前我的判断还是没变。 8G版越来越像真正能拿去部署的64G AI卡了。 10G版的80G，继续当彩票看。没有多人独立复现，没有全显存唯一pattern，没有多CUDA context，没有24到72小时0错误，我就不加一分钱估值。