鉴定完毕, 英伟达发布的 FP4-Local 精度的 GLM 5.3 Flash 的解码速度还没有我优化的 GLM 5.3 Flash 速度快
大家不要尝试英伟达基于 QAD 动态精度量化的模型了, Qwen 3.8 Flash 和 GLM 5.3 Flash 这两个英伟达发布的模型解码速度都很差
顯示更多
试了一下英伟达官方的 QAD Qwen 3.8 Flash Next 的速度还没有我移植的 Qwen 3.8 Flash Next 速度快
所以,模型移植不要迷信英伟达,英伟达的软件优化都是大大落后于社区的移植速度的
顯示更多