KC
@ScarletKc
Indie developer building games & open-source tools
Sharing model impressions and opinions on AI
Devin Ambassador @cognition
Joined July 2016
1K Following 8.5K Followers
手上的 API 太多了，各种 IP 直接去请求也太不方便，所以一直走 gateway，之前用的是 LiteLLM。早就想换了，bug 太几把多了，提 PR 也不合并。
而且它今年安全上接连出事，3 月 PyPI 上的包被投毒，4 月爆了个不用认证就能打的 SQL 注入，6 月又来一条 RCE 链。gateway 里存的又是所有上游的 key。
准备换成 New API 了，直接部署在自己的 VPS 上。各家的 API 都能直接加成渠道，常用的客户端也基本都能直接接。
本来还在看更轻的 Bifrost，最后选 New API，主要是作者 @Ion_Mio_ 关注我了
Show more
