GitHubDaily(@GitHub_Daily):想给 Agent 换本地模型省点 token，装好 Ollama 随手拉一个模型，跑起来超级慢，内存也被撑爆。 Magnitude 这个开源推理服务器换了个做法，先给机器做体检，芯片、内存、带宽摸一遍，再推荐哪些模型装得下、大概能跑多快。选定之后它负责下载、调参、常驻后台跑，模型要用时才加载，闲置或内存吃紧就自动卸掉，不用我们盯着。 GitHub：https://t.co/zNdjZIe4G9 接入方式挺省事，一句话直接丢给手头的 Agent ，它自己就会装工具、挑模型、把配置改到本地模型上。支持 Claude Code、Codex、OpenCode、Cline 等 8 个工具接入，推理加速和并发参数也按这台机器预先调好。模型、提示词、文件全在本机，下载完断网照用。Mac 内存大又心疼 token 的，可以试试。

2026.09.05 00:00

想给 Agent 换本地模型省点 token，装好 Ollama 随手拉一个模型，跑起来超级慢，内存也被撑爆。 Magnitude 这个开源推理服务器换了个做法，先给机器做体检，芯片、内存、带宽摸一遍，再推荐哪些模型装得下、大概能跑多快。选定之后它负责下载、调参、常驻后台跑，模型要用时才加载，闲置或内存吃紧就自动卸掉，不用我们盯着。 GitHub：接入方式挺省事，一句话直接丢给手头的 Agent ，它自己就会装工具、挑模型、把配置改到本地模型上。支持 Claude Code、Codex、OpenCode、Cline 等 8 个工具接入，推理加速和并发参数也按这台机器预先调好。模型、提示词、文件全在本机，下载完断网照用。Mac 内存大又心疼 token 的，可以试试。