金尘马
@jinchenma_ai
前大厂程序员，OPC实践中｜只工作不上班
用AI → 内容创作｜知识库｜教程｜培训
FIRST CHECK 发起人｜ 记录普通人如何在AI时代淘点金
最近在做FDE实践与落地👇欢迎链接&合作&咨询
加入 November 2016
583 正在关注 29.4K 粉丝
想要本地跑大模型的可以看下 Swiftlet 这个库。
把 80B 版 Qwen 跑到了 Mac 上，内存占用只有 4.3 GB，35B 版本还能跑在 iPhone 上。
它用 Swift + Metal 做运行时，只让小型稠密核心常驻内存，需要哪个专家，再从存储中按需加载对应权重。
Qwen3-Next 和 Qwen3.5/3.6 这类 MoE 混合模型，都能在普通 Apple 设备上运行。
仓库地址：
显示更多
