Ren(@Ryrenz):💾 离谱，Prism ML 把 27B 的大模型压到了 5.95GB，一张 8G 显存的卡就放得下 Bonsai 2 27B。 Bonsai 2 27B 最近 30 天在 Hugging Face 被下载了 484 万次。它的底子是 Qwen3.8-27B，架构一点没动，只是把每个权重压成了 -1、0、+1 三个值。想在自己电脑上跑 27B 这个级别的模型，以前基本两条路：要么上 24G 显存的卡，要么用 2 bit 这种极限量化，代价是模型明显变笨。Bonsai 把原版约 54GB 的权重压小了 9 倍多，在 14 项思考模式的基准测试里平均 84.78 分，原版是 86.32，只差 1.5 分；常见的 2 bit 量化 IQ2_XXS 只有 72.59。速度也够用，官方在苹果 M5 Pro 上测到每秒 28 个 token，RTX 5090 上能到每秒 120 个。有一点得提前知道：普通的 llama.cpp 跑不了这个格式，要用 Prism ML 自己维护的 llama.cpp 分支，N 卡和苹果芯片都支持。手里只有一张游戏卡的人，终于不用只盯着 7B、8B 的小模型了。 Hugging Face：

2026.10.18 17:40

💾 离谱，Prism ML 把 27B 的大模型压到了 5.95GB，一张 8G 显存的卡就放得下 Bonsai 2 27B。 Bonsai 2 27B 最近 30 天在 Hugging Face 被下载了 484 万次。它的底子是 Qwen3.8-27B，架构一点没动，只是把每个权重压成了 -1、0、+1 三个值。想在自己电脑上跑 27B 这个级别的模型，以前基本两条路：要么上 24G 显存的卡，要么用 2 bit 这种极限量化，代价是模型明显变笨。Bonsai 把原版约 54GB 的权重压小了 9 倍多，在 14 项思考模式的基准测试里平均 84.78 分，原版是 86.32，只差 1.5 分；常见的 2 bit 量化 IQ2_XXS 只有 72.59。速度也够用，官方在苹果 M5 Pro 上测到每秒 28 个 token，RTX 5090 上能到每秒 120 个。有一点得提前知道：普通的 llama.cpp 跑不了这个格式，要用 Prism ML 自己维护的 llama.cpp 分支，N 卡和苹果芯片都支持。手里只有一张游戏卡的人，终于不用只盯着 7B、8B 的小模型了。 Hugging Face：

显示更多