金尘马
@jinchenma_ai
👨💻前大厂程序员，想开了，35岁危机前提桶跑路
30天X破万粉，变现过万🚀写小白用得上的AI教程
偶尔抽象，时常真诚，把X当朋友圈发👇咨询&合作
加入 November 2016
545 正在关注 23K 粉丝
想要本地跑大模型的可以看下 Swiftlet 这个库。
把 80B 版 Qwen 跑到了 Mac 上，内存占用只有 4.3 GB，35B 版本还能跑在 iPhone 上。
它用 Swift + Metal 做运行时，只让小型稠密核心常驻内存，需要哪个专家，再从存储中按需加载对应权重。
Qwen3-Next 和 Qwen3.5/3.6 这类 MoE 混合模型，都能在普通 Apple 设备上运行。
仓库地址：
显示更多
