刚看了个视频，最近新出的 Qwen3.6 27B 大家都跑了吗？用单卡 4090 原生跑，速度才 20 Token/秒，写个代码慢得让人想砸键盘。
但他疯狂折腾了各种优化，直接把速度干翻了近10倍！这有点牛逼了，给大家说下他的优化方法。
干货全在这：
1️⃣ 4bit量化：速度直接翻倍，画质（精度）几乎不掉。
2️⃣ MTP投机解码：让显卡火力全开，一路飙到 108 Token/秒！
3️⃣ 最新黑科技 DFlash：借用AI生图的思路搞文本，峰值直接干到 184 Token/秒，快到起飞！
最牛的是现在有个叫 TurboQuant 的技术，能把缓存无损压缩 4 倍。就算你只有 24G 显存，也能跑满 200K 的超长上下文！但是哈，这是优化KV Cache的，场景优化现在不是很好... 等生态起来吧
别整天喊算力焦虑了，只要优化弄得好，你的电脑就是个小型数据中心！ 不知道大家跑的时候有没有去优化，后面都试试。
你的跑出来是多少？ #AI# #AIAgent#
もっと見る
