Ren(@Ryrenz):💥卧槽，本地模型也能当 Claude Code 的后端跑终端 agentic coding 了 GitHub 5.7 万星，Python 项目，叫 private-gpt 公司代码和数据不让上云，但团队又眼馋 Claude Code 这种终端 agent 干活的效率，这是很多技术团队卡住的地方。 private-gpt 的做法是把 Ollama、llama.cpp、vLLM 里跑的本地模型，包成一层遵循 Claude API 规范的服务。 Claude Code 直接把后端指向它就能用，RAG、工具调用、MCP、text-to-sql 一样不少，连 Claude Desktop、Word/Excel 里的 Claude 插件也能接上。它自己不跑模型，只负责把你已有的推理服务套进这套 API 规范，还带了个 workbench UI 方便本地测试。 macOS 上 brew install private-gpt，配两个环境变量指向本地模型，就能起服务。

Ren

@Ryrenz

🇺🇸 美国全栈程序员 💻 ⚙️ 整理小白能懂的优质 AI 教程 📚 📢 持续挖掘实用的 AI 提效方式 🤖 💰 分享我关于投资、副业、职场的思考 🧠 📝 开源我所有的内容创作与 AI 变现经验 📈

加入 March 2025

671 正在關注 8.3K 粉絲

Ren@Ryrenz

2026.07.10 09:12

💥卧槽，本地模型也能当 Claude Code 的后端跑终端 agentic coding 了 GitHub 5.7 万星，Python 项目，叫 private-gpt 公司代码和数据不让上云，但团队又眼馋 Claude Code 这种终端 agent 干活的效率，这是很多技术团队卡住的地方。 private-gpt 的做法是把 Ollama、llama.cpp、vLLM 里跑的本地模型，包成一层遵循 Claude API 规范的服务。 Claude Code 直接把后端指向它就能用，RAG、工具调用、MCP、text-to-sql 一样不少，连 Claude Desktop、Word/Excel 里的 Claude 插件也能接上。它自己不跑模型，只负责把你已有的推理服务套进这套 API 规范，还带了个 workbench UI 方便本地测试。 macOS 上 brew install private-gpt，配两个环境变量指向本地模型，就能起服务。