QWen3.8-27B在不同内存配置的Mac Silicon 应该部署哪个社区版,昨天很多朋友咨询,我这里整理下:
1. 16G的建议不要考虑QWen3.8-27B,tps太低,任务跑不动
2. 24G优先选越狱版本 orcarouter/Qwen3.8-27B-Uncensored-MLX(4-bit ),次选mlx-community/Qwen3.8-27B-MTP-4bit MTP优化版本,tps有提升(DFlash2有点勉强)
3. 48G优先选择 incoai/Qwen3.8-27B-DFlash2 DFlash2草稿模型优化版本,tps提升巨大,次选越狱版本 orcarouter/Qwen3.8-27B-Uncensored-MLX(4-bit)
4. 64G 及以上,优先考虑8bit BF16搭配 DFlash2提升tps,次选对应精度的越狱版本
追求最快就用 DFlash2版本
追求越狱就考虑Uncensored 版本,但是越狱版本没有官方配套 DFlash2 草稿 🤣
显示更多