@TheAhmadOsman 说本地 AI 模型的价格会打到“像香蕉一样便宜”,这不 PrismML 的 Bonsai 2 27B 就出来了,32GB 的 MacBook 也能顺利跑起来。我把它放到 Pi Agent 上跑了一下经典的鹈鹕测试,提示词保持简短:创建一个 HTML,用 SVG 画一只悠闲骑自行车的鹈鹕 2D 动画。
这个模型基于 Qwen3.8 27B,把权重做成三值 {-1, 0, +1},每个权重约 1.7 bit。体积比 FP16 小了 9 倍多,但跑分效果只微微下降,支持 262K 上下文。
我的 32GB Mac 实测:
- 生成速度大约 12 tok/s,内存峰值仅 11GB
- 在 Pi 里一次写对 SVG,还会自己写脚本校验、失败了能自己主动修正
- 用时 11 分钟(不过同样的任务,Opus 5 只要 59 秒🤷)
- 画面尚可,但鹈鹕的腿基本没动 😂
虽然还不能替代高性能模型,但 27B 级别的 agent 已经能在笔记本上离线干活了,香蕉价确实已经在路上 🍌