註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Ren
@Ryrenz
加入 March 2025
0 正在關注    0 粉絲
💥卧槽,本地模型也能当 Claude Code 的后端跑终端 agentic coding 了 GitHub 5.7 万星,Python 项目,叫 private-gpt 公司代码和数据不让上云,但团队又眼馋 Claude Code 这种终端 agent 干活的效率,这是很多技术团队卡住的地方。 private-gpt 的做法是把 Ollama、llama.cpp、vLLM 里跑的本地模型,包成一层遵循 Claude API 规范的服务。 Claude Code 直接把后端指向它就能用,RAG、工具调用、MCP、text-to-sql 一样不少,连 Claude Desktop、Word/Excel 里的 Claude 插件也能接上。 它自己不跑模型,只负责把你已有的推理服务套进这套 API 规范,还带了个 workbench UI 方便本地测试。 macOS 上 brew install private-gpt,配两个环境变量指向本地模型,就能起服务。
顯示更多