註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

WquGuru
@wquguru
AI+量化+工程 AI/Invest/Biz/Ship资讯→ 打造Agent PoC→ 📮 hello@wqu.guru
加入 May 2019
559 正在關注    21.8K 粉絲
@TheAhmadOsman 说本地 AI 模型的价格会打到“像香蕉一样便宜”,这不 PrismML 的 Bonsai 2 27B 就出来了,32GB 的 MacBook 也能顺利跑起来。我把它放到 Pi Agent 上跑了一下经典的鹈鹕测试,提示词保持简短:创建一个 HTML,用 SVG 画一只悠闲骑自行车的鹈鹕 2D 动画。 这个模型基于 Qwen3.8 27B,把权重做成三值 {-1, 0, +1},每个权重约 1.7 bit。体积比 FP16 小了 9 倍多,但跑分效果只微微下降,支持 262K 上下文。 我的 32GB Mac 实测: - 生成速度大约 12 tok/s,内存峰值仅 11GB - 在 Pi 里一次写对 SVG,还会自己写脚本校验、失败了能自己主动修正 - 用时 11 分钟(不过同样的任务,Opus 5 只要 59 秒🤷) - 画面尚可,但鹈鹕的腿基本没动 😂 虽然还不能替代高性能模型,但 27B 级别的 agent 已经能在笔记本上离线干活了,香蕉价确实已经在路上 🍌
顯示更多