Ren(@Ryrenz):📈 压箱底的干货来了，llm-inference-capacity-handbook 帮你算清楚一件事：手里这些 GPU，到底扛得住多少 QPS。 llm-inference-capacity-handbook 是一本讲大模型推理容量规划的中文手册，开源的是 v8.0 节选，从第 0 章总纲一路讲到第 9 章集群与基础设施。很多团队估容量，是压测跑满吞吐，或者拿 Decode 吞吐除以输出长度算 QPS。手册直接点破这两个坑：闭环压测的吞吐相当于把利用率顶到 100%，排队时间趋于无穷，不能当容量；忽略 Prefill 开销，在 2048/512 负载下大约会高估 4 倍。它把问题拆成三层：物理层看 Roofline，系统层在算力墙、TPOT-SLA 墙和 KV 槽位墙里取最小，排队层再用排队论算延迟。第 7 章还有一个 500 万 DAU 客服的完整算例，249 台机器逐行推演，连自建和上云的回本点都算了。注意开源版只是节选，常数来源、MoE 完整算例和附录都不在里面，许可是 CC BY-NC-SA 4.0。买卡之前先翻一遍，可能比多压测一周更省钱。 GitHub：

2026.11.07 14:09

📈 压箱底的干货来了，llm-inference-capacity-handbook 帮你算清楚一件事：手里这些 GPU，到底扛得住多少 QPS。 llm-inference-capacity-handbook 是一本讲大模型推理容量规划的中文手册，开源的是 v8.0 节选，从第 0 章总纲一路讲到第 9 章集群与基础设施。很多团队估容量，是压测跑满吞吐，或者拿 Decode 吞吐除以输出长度算 QPS。手册直接点破这两个坑：闭环压测的吞吐相当于把利用率顶到 100%，排队时间趋于无穷，不能当容量；忽略 Prefill 开销，在 2048/512 负载下大约会高估 4 倍。它把问题拆成三层：物理层看 Roofline，系统层在算力墙、TPOT-SLA 墙和 KV 槽位墙里取最小，排队层再用排队论算延迟。第 7 章还有一个 500 万 DAU 客服的完整算例，249 台机器逐行推演，连自建和上云的回本点都算了。注意开源版只是节选，常数来源、MoE 完整算例和附录都不在里面，许可是 CC BY-NC-SA 4.0。买卡之前先翻一遍，可能比多压测一周更省钱。 GitHub：

Forward to community