註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

GitHubDaily
@GitHub_Daily
💡 挖掘开源的价值 🧑🏻‍💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术 🧐 A list cool, interesting projects of GitHub. ✏️ 公众号:GitHubDaily
加入 May 2023
209 正在關注    90.8K 粉絲
在 Mac 上跑本地大模型给编码 Agent 用,最磨人的是它每读一个文件,都要干等十几二十秒才开始回话。 Backburner 想了个挺野的办法,用一根 USB-C 线把 iPhone 接到 Mac 上,让手机一起帮忙跑 Qwen3.8-27B。 Mac 负责模型的前 40 层,iPhone 拿自己的 GPU 跑后面 24 层,两边像流水线一样同时干。作者实测 16k 到 48k 上下文,读取速度快了 29% 到 44%。 GitHub: 另一个好处是上下文能放更长。24GB 的 Mac 单独只放得下 64k,接上 iPhone 17 Pro Max 后,最早的那部分对话交给手机存着算,实测跑到了 128k。 同样的输入,有没有手机参与,输出结果一模一样。线得用 10Gb/s 的,手机盒里送的那根太慢。 手机原来还能当算力用,这个思路我觉得挺有意思。
顯示更多