promptfoo/promptfoo

项目概览

该项目以开发者优先为导向，评估在本地运行，且支持通过 npm、pip 或 brew 安装，为 LLM 应用的质量和合规提供了低门槛的自动化检查方案。

项目类型

评测观测 · 基础设施

部署方式

查看项目说明

License

MIT

适合谁

• 需要将 LLM 测试和评估集成到自动化流水线中的开发团队。
• 希望在本地快速测试和迭代提示词，且关注数据隐私的 AI 工程师。

核心能力

• 对提示词和模型进行自动化评估，替代手工试错，以测试用例矩阵等方式衡量输出质量。
• 通过红队测试和漏洞扫描来保护 LLM 应用，帮助识别提示词和相关逻辑中的潜在风险。
• 在持续集成和持续部署流水线中自动化执行检查任务，防止模型和提示词的回归问题进入生产环境。
• 针对拉取请求进行代码审查，识别与 LLM 相关的安全与合规问题。
• 在本地查看评估结果，并支持将结果分享给团队成员以供协作分析。

限制与风险

• 使用 npm 和 npx 时需要 Node.js ^20.20.0 或 >=22.22.0，且对 Node.js 20 的支持将于 2026 年 7 月 30 日结束。
• 大部分外部 LLM 提供商需要配置 API 密钥才能连接。

如何开始

• 安装难度较低，可通过 npm、pip 或 brew 安装。提供快速入门命令，初始化示例项目后即可运行评估并查看结果。

核验依据

• README: <code>promptfoo</code> is a CLI and library for evaluating and red-teaming LLM apps. Stop the trial-and-error approach - start shipping secure, reliable AI apps.
• README: Requires [Node.js](https://nodejs.org/en/download) `^20.20.0` or `>=22.22.0` for npm and npx usage.
• README: - **Test your prompts and models** with [automated evaluations](https://www.promptfoo.dev/docs/getting-started/)
• README: - **Developer-first**: Fast, with features like live reload and caching
• README: Promptfoo is now part of OpenAI. Promptfoo remains open source and MIT licensed.

内容核验时间：