海洋馆馆长
@CycleDecoded
AI工具实测 | 每周分享3个值得用的流程和场景 | 独立开发者×效率工具
Joined May 2021
1.2K Following 7.3K Followers
硅谷那帮搞 AI 的圈子最近都在偷着用这玩意。
以前想在本地跑 70B 甚至更大参数的顶尖大模型，你非得砸几万块去买高配显卡，一般人的电脑根本别想动。
但 GitHub 上这个开源项目直接把路走宽了——它能把你家里的旧 Mac、旧笔记本、甚至几台普通电脑组网拼成一个“算力集群”！显存直接叠加，拿去硬啃以往根本跑不动的大模型！
GitHub Stars：44,500+ 星
开源协议：Apache-2.0
核心功能：分布式 AI 本地推理集群框架
核心卖点：
零配置自动联机：同一局域网设备开机自动发现，不用手动搭复杂网络。
显存爆改加算力：多台设备显存自动打通拼接，70B 大模型轻松分片切着跑。
速度狂飙：支持雷电线 (Thunderbolt) 硬件直连，延迟低到像在一台机器上跑。
无缝对接已有工具：自带 OpenAI / Claude 标准 API 接口，套壳应用直接无缝切换。
🔗 项目地址：
Show more
