GitHubDaily
@GitHub_Daily
💡 挖掘开源的价值
🧑🏻💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术
🧐 A list cool, interesting projects of GitHub.
✏️ 公众号：GitHubDaily
加入 May 2023
209 正在关注 90.8K 粉丝
在 Mac 上跑本地大模型给编码 Agent 用，最磨人的是它每读一个文件，都要干等十几二十秒才开始回话。
Backburner 想了个挺野的办法，用一根 USB-C 线把 iPhone 接到 Mac 上，让手机一起帮忙跑 Qwen3.8-27B。
Mac 负责模型的前 40 层，iPhone 拿自己的 GPU 跑后面 24 层，两边像流水线一样同时干。作者实测 16k 到 48k 上下文，读取速度快了 29% 到 44%。
GitHub：
另一个好处是上下文能放更长。24GB 的 Mac 单独只放得下 64k，接上 iPhone 17 Pro Max 后，最早的那部分对话交给手机存着算，实测跑到了 128k。
同样的输入，有没有手机参与，输出结果一模一样。线得用 10Gb/s 的，手机盒里送的那根太慢。
手机原来还能当算力用，这个思路我觉得挺有意思。
显示更多
