在 Mac 上跑本地大模型给编码 Agent 用,最磨人的是它每读一个文件,都要干等十几二十秒才开始回话。
Backburner 想了个挺野的办法,用一根 USB-C 线把 iPhone 接到 Mac 上,让手机一起帮忙跑 Qwen3.8-27B。
Mac 负责模型的前 40 层,iPhone 拿自己的 GPU 跑后面 24 层,两边像流水线一样同时干。作者实测 16k 到 48k 上下文,读取速度快了 29% 到 44%。
GitHub:
另一个好处是上下文能放更长。24GB 的 Mac 单独只放得下 64k,接上 iPhone 17 Pro Max 后,最早的那部分对话交给手机存着算,实测跑到了 128k。
同样的输入,有没有手机参与,输出结果一模一样。线得用 10Gb/s 的,手机盒里送的那根太慢。
手机原来还能当算力用,这个思路我觉得挺有意思。
显示更多