Register and share your invite link to earn from video plays and referrals.

Wayen
@wayen_ai
04 年工科大四 正在用 AI Agent 把学习、求职和副业做成自动化工作流 真实实测 / 翻车公开 / 工具排雷 / 工作流教学 AI 自动化|校园副业|求职提效
Joined May 2020
179 Following    3.6K Followers
一个AI诊断工具,能在你的AI Agent搞出事情之前,发现它自己都不知道的盲点。 iFixAi——不是测试模型能力,是检测“操作失配”。你的AI可能KPI全绿,同时正在悄悄泄露权限、编造引用、或者对操纵性提示词低头。这些不会出现在你日常监控里,直到某天变成事故、投诉、或者监管问询。 跑一次诊断,5分钟内返回一个A到F的等级。 它怎么工作的: 1.32项核心检查覆盖五个维度:捏造、操纵、欺骗、不可预测性、不透明性 2.额外13项扩展检查覆盖更前沿的风险:破坏、偷懒、规避监管、权限扩张 3.由独立的评判模型打分(你用一个供应商的模型,另一个供应商的模型当裁判),避免自评自判 4.可接入你真实部署的Agent(HTTP端点),不只是裸模型API 运行方式: - CLI引导式安装:pip install "ifixai[provider]" + ifixai setup + ifixai run - 作为Claude Code或Codex的插件:/plugin marketplace add ifixai-ai/iFixAi - 作为其他Agent的Skill:uvx ifixai install --agents cursor 你真正在测的是你部署的Agent,不是裸模型。所以你得把Agent的端点暴露出来,或者实现一个简单的适配器,iFixAi才能看到它的工具调用、审计日志、权限边界。 一个细节:默认需要两个独立的API Key——一个用于被测Agent的模型,另一个用于打分的裁判模型(来自不同供应商)。这样测试结果才“可引用”。如果只有一个Key,可以用--eval-mode self跑自评模式,但那只是烟雾测试,不能作为正式成绩。 适合三类人: 1. 正在把AI Agent部署到生产环境,需要前置风险检测的团队 2. 合规要求高、需要向监管证明Agent可控的行业(医疗、金融、法律) 3. 想建立AI质量门禁,在CI里自动跑诊断的开发者 开源,Apache 2.0。 收藏备用,等Agent上线前先给它过一遍诊断。
Show more