金尘马(@jinchenma_ai):想要本地跑大模型的可以看下 Swiftlet 这个库。把 80B 版 Qwen 跑到了 Mac 上，内存占用只有 4.3 GB，35B 版本还能跑在 iPhone 上。它用 Swift + Metal 做运行时，只让小型稠密核心常驻内存，需要哪个专家，再从存储中按需加载对应权重。 Qwen3-Next 和 Qwen3.5/3.6 这类 MoE 混合模型，都能在普通 Apple 设备上运行。仓库地址：

金尘马

@jinchenma_ai

前大厂程序员，OPC实践中｜只工作不上班用AI → 内容创作｜知识库｜教程｜培训 FIRST CHECK 发起人｜记录普通人如何在AI时代淘点金最近在做FDE实践与落地👇欢迎链接&合作&咨询

参加 November 2016

583 フォロー中 29.4K ファン

金尘马@jinchenma_ai

2026.08.04 11:17

想要本地跑大模型的可以看下 Swiftlet 这个库。把 80B 版 Qwen 跑到了 Mac 上，内存占用只有 4.3 GB，35B 版本还能跑在 iPhone 上。它用 Swift + Metal 做运行时，只让小型稠密核心常驻内存，需要哪个专家，再从存储中按需加载对应权重。 Qwen3-Next 和 Qwen3.5/3.6 这类 MoE 混合模型，都能在普通 Apple 设备上运行。仓库地址：