于我而言,调用 ai 模型 api 时,一个很大的痛点就是很难验证服务商实际上给你提供的模型是什么。不同服务商可能提供更小的模型版本、缩短上下文窗口,但表面上看起来一切正常。
Mira 现在推出的 Sterling 则能够有效解决这个问题:通过模型身份、工具调用、参数遵循、静默故障和上下文长度五个维度验证服务商,并将请求路由给通过验证的服务商。该服务首批支持 claude、gpt 和 gemini,部分模型上线期间最高可享 50% 折扣。
我觉得,随着 ai 推理服务越来越多地由第三方提供,推理服务的验证也会成为刚需🤔。
Introducing Sterling: Inference from verified providers.
The model you’re paying for might not be the one answering you. Every API model is served by a provider. Some serve a smaller version. Some break tool calls.
Sterling tests all providers and routes to the verified ones.