GitHubDaily
@GitHub_Daily
💡 挖掘开源的价值
🧑🏻💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术
🧐 A list cool, interesting projects of GitHub.
✏️ 公众号：GitHubDaily
加入 May 2023
206 正在关注 85.4K 粉丝
想给 Agent 换本地模型省点 token，装好 Ollama 随手拉一个模型，跑起来超级慢，内存也被撑爆。
Magnitude 这个开源推理服务器换了个做法，先给机器做体检，芯片、内存、带宽摸一遍，再推荐哪些模型装得下、大概能跑多快。
选定之后它负责下载、调参、常驻后台跑，模型要用时才加载，闲置或内存吃紧就自动卸掉，不用我们盯着。
GitHub：
接入方式挺省事，一句话直接丢给手头的 Agent ，它自己就会装工具、挑模型、把配置改到本地模型上。
支持 Claude Code、Codex、OpenCode、Cline 等 8 个工具接入，推理加速和并发参数也按这台机器预先调好。
模型、提示词、文件全在本机，下载完断网照用。Mac 内存大又心疼 token 的，可以试试。
显示更多
