huangyihe(@huangyihe):Ternary Bonsai 2 27B是PrismML做的一个“瘦身版”大模型。底子是阿里的Qwen3.8 27B，大约270亿参数，正常满精度要占五十多GB；他们把权重压成只有-1、0、+1三种取值，体积降到大约6–8GB，综合测试成绩还能保住原版的九成八左右。直观地说：它不是又造了一个全新模型，而是把一个本来只能在服务器上跑的27B，压到笔记本也能常驻。数学、写代码这类能力掉得很少；看图、特别长的多步任务会弱一点。换来的代价是必须用他们的运行环境，官方Ollama现在还跑不了。我在M4 Pro 48GB上运行挺流畅的：权重大约7GB，内存宽裕，生成速度大概每秒20个token，日常问答、改代码够用。适合不想把代码传出去、又想在本机用接近27B能力的人。

2026.09.19 13:11

Ternary Bonsai 2 27B是PrismML做的一个“瘦身版”大模型。底子是阿里的Qwen3.8 27B，大约270亿参数，正常满精度要占五十多GB；他们把权重压成只有-1、0、+1三种取值，体积降到大约6–8GB，综合测试成绩还能保住原版的九成八左右。直观地说：它不是又造了一个全新模型，而是把一个本来只能在服务器上跑的27B，压到笔记本也能常驻。数学、写代码这类能力掉得很少；看图、特别长的多步任务会弱一点。换来的代价是必须用他们的运行环境，官方Ollama现在还跑不了。我在M4 Pro 48GB上运行挺流畅的：权重大约7GB，内存宽裕，生成速度大概每秒20个token，日常问答、改代码够用。适合不想把代码传出去、又想在本机用接近27B能力的人。