一个AI诊断工具,能在你的AI Agent搞出事情之前,发现它自己都不知道的盲点。
iFixAi——不是测试模型能力,是检测“操作失配”。你的AI可能KPI全绿,同时正在悄悄泄露权限、编造引用、或者对操纵性提示词低头。这些不会出现在你日常监控里,直到某天变成事故、投诉、或者监管问询。
跑一次诊断,5分钟内返回一个A到F的等级。
它怎么工作的:
1.32项核心检查覆盖五个维度:捏造、操纵、欺骗、不可预测性、不透明性
2.额外13项扩展检查覆盖更前沿的风险:破坏、偷懒、规避监管、权限扩张
3.由独立的评判模型打分(你用一个供应商的模型,另一个供应商的模型当裁判),避免自评自判
4.可接入你真实部署的Agent(HTTP端点),不只是裸模型API
运行方式:
- CLI引导式安装:pip install "ifixai[provider]" + ifixai setup + ifixai run
- 作为Claude Code或Codex的插件:/plugin marketplace add ifixai-ai/iFixAi
- 作为其他Agent的Skill:uvx ifixai install --agents cursor
你真正在测的是你部署的Agent,不是裸模型。所以你得把Agent的端点暴露出来,或者实现一个简单的适配器,iFixAi才能看到它的工具调用、审计日志、权限边界。
一个细节:默认需要两个独立的API Key——一个用于被测Agent的模型,另一个用于打分的裁判模型(来自不同供应商)。这样测试结果才“可引用”。如果只有一个Key,可以用--eval-mode self跑自评模式,但那只是烟雾测试,不能作为正式成绩。
适合三类人:
1. 正在把AI Agent部署到生产环境,需要前置风险检测的团队
2. 合规要求高、需要向监管证明Agent可控的行业(医疗、金融、法律)
3. 想建立AI质量门禁,在CI里自动跑诊断的开发者
开源,Apache 2.0。
收藏备用,等Agent上线前先给它过一遍诊断。
顯示更多