GitHubDaily
@GitHub_Daily
💡 挖掘开源的价值
🧑🏻💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术
🧐 A list cool, interesting projects of GitHub.
✏️ 公众号：GitHubDaily
加入 May 2023
206 正在关注 88.1K 粉丝
搭建 AI Agent 应用，嵌入、重排、OCR、安全审核各用一套模型服务，维护起来真的头大。
最近在 GitHub 上看到 SIE 这个开源推理引擎，把所有模型任务统一到一个集群里，一套 API 全搞定。
兼容 OpenAI 接口，现有代码几乎不用改，内置 100 多个开源模型按需加载，用完自动释放显存。
GitHub：
覆盖搜索检索、文档转 Markdown、结构化输出、内容安全审核、Agent 推理等五大类任务，每类都预配了多个可替换模型。
还能直接对接 LangChain、LlamaIndex、CrewAI 等主流框架和向量数据库。
自带 Kubernetes 部署配置，负载均衡、自动扩缩、监控面板一套齐。
如果我们在自建 Agent 基础设施，想把散落各处的模型服务收拢到一起，这个项目值得试试。
显示更多
