ifixai-ai/iFixAi

项目概览

该工具将 AI 代理的对齐风险检测转化为可量化的字母评级，通过跨厂商的独立判官机制而非自我评估来审视代理，使其风险报告在多供应商验证层面具有可验证性和可审计性。

项目类型

AI Agent · 评测观测

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要快速获取可量化、可引用风险评级的 AI 工程师和企业团队。
• 希望在真实部署上下文（而非纯裸模型 API）中评估代理对齐风险的研发人员。

核心能力

• 在捏造、操纵、欺骗、不可预测性和不透明这五大风险支柱中执行多达 45 项检查（32 项核心，13 项扩展）。
• 基于评分检查类别的加权平均值，在 5 分钟内生成 A-F 字母评级。
• 提供一个交互式方向键向导（`ifixai setup`），用于选择提供商、模型、判官和套件，并保存至可复用的配置文件中。
• 使用来自独立提供商的模型对受测系统进行评判，支持单一或集成（ensemble）评判模式。
• 记录所有运行输入的清单文件，使检测结果可被审计和重放。
• 提供原生插件和技能脚手架命令，以便在 Claude Code、Codex、Cursor、VS Code 等代理中交互式运行诊断。

限制与风险

• 该工具的输出结果不能作为正式的认证或安全保证。
• 运行完整检查套件会产生判官模型的第三方 API 调用费用。

如何开始

• 安装过程简单，通过 pip 直接安装，随后使用引导向导配置并运行：1. `pip install "ifixai[<provider>]"`；2. `ifixai setup`；3. `ifixai run`。

替代方案与同类比较

• 提供生产级 LLM 观测、评估与生命周期管理。如果除了基础的对齐检查评级外，还需要长周期的提示词管理与模型网关，可考虑此项目。
• 侧重于检测代理技能安装前的漏洞与恶意模式。如果核心痛点是防止安装恶意技能而非运行时对齐风险评级，可考虑此工具。
• 提供 LLM 项目的追踪、评估与护栏等综合 SDK。如果需要持续的代理追踪与数据合成而非单次离线风险扫描，可考虑此项目。

同类比较

• ifixai-ai/iFixAi vs MLflow
• ifixai-ai/iFixAi vs NVIDIA SkillSpector
• ifixai-ai/iFixAi vs RagaAI Catalyst

核验依据

• GitHub 项目简介: Catch your AI's mistakes and blind spots before your customers or regulators do. iFixAi runs 45 inspections, 32 graded core plus 13 extended for frontier risks like sabotage, sand…
• README: The diagnostic for AI operational misalignment
• README: iFixAi detects AI operational misalignment before it damages your business. By that, we mean any action, omission, or behaviour from your AI that does not match what your business…
• README: It runs up to 45 inspections against your agent, from direct policy compliance to adversarial pressure and structural edge cases. These come in two tiers: 32 core plus 13 extended…
• README: pip install "ifixai[openai]" # or anthropic, gemini, etc. — install the provider extra you'll test ifixai setup # arrow-key wizard: pick provider, model, judge, suite → writes ifi…

来源更新时间：2026-07-15T18:26:10Z

打开原始 GitHub 项目