⚡ 我去,这个开源项目把你的 Mac 变成了一台本地大模型服务器,跑 Claude Code 这类工具又稳又快。
GitHub 狂揽 1.7 万+ Star,作者是个独立开发者,被现有工具气到自己动手做的。
他的原话是,试过的每个 LLM server 都让他在「方便」和「可控」之间二选一。Mac 用户跑本地模型都懂这种痛:长对话每次重新算上下文,又慢又烫,本地模型只能跑跑 demo,干不了真活。
oMLX 的思路是把历史上下文缓存到内存加 SSD 两层,接着聊不用重算;常用模型钉在内存,大模型按需自动换入换出;所有管理在菜单栏点一下就完事。API 兼容 OpenAI,Claude Code、Codex 这些工具直接接本地模型干活。
装它也简单,brew install 一行,或者直接拖个 dmg 进应用程序。
本地模型以前只能跑 demo,现在能干真活了。
GitHub:
显示更多