🛠️ 卧槽,一整套本地 AI 服务被打包成了一个安装程序,聊天、语音、画图、知识库和自动化全在里面
GitHub 上 4600 多 star,Apache 2.0 协议,Linux、Windows 和 macOS 都有安装程序
想在自己机器上跑本地模型的人都懂那个过程:Open WebUI 一套编排,llama-server 自己折腾,语音转文字和语音合成各配一遍环境,画图的 ComfyUI 又是另一套依赖,全装完还得记住哪个端口对应哪个服务,重启一次挂两个。
这个项目全称叫 Osmantic Deployment System,把 Open WebUI、llama-server、LiteLLM、Whisper、Kokoro、n8n、Qdrant、SearXNG 和 ComfyUI 编排到一起,安装时先检测硬件再帮你挑模型,之后所有服务在同一个界面里起停。推理支持本地、云端和混合三种模式,日常活全跑本地,机器扛不动的再甩给云端。
本地 AI 最难的从来不是模型,是把一堆服务凑到一块还都活着。
GitHub:
顯示更多