confident-ai/deepeval

项目概览

作为专门针对 LLM 应用的 Pytest 式单元测试框架，它为评估系统质量和防止 Prompt 漂移提供了量化的指标分数输出。

项目类型

评测观测

应用场景

知识问答

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 具备 Python 编程能力、希望以单元测试形式对 LLM 应用进行系统化评估和模型比较的开发者和 AI 工程师。
• 需要量化检测系统输出质量、防止 Prompt 漂移的数据团队。

核心能力

• 通过手动注入代码或使用框架集成的方式，将数据集在整个应用中运行，以提供追踪能力。
• 为 LLM 应用提供防护机制。
• 一种基于图的、确定性的 LLM-as-a-judge（大语言模型作为裁判）指标构建器。

限制与风险

• 使用本框架要求 Python 环境版本为 3.9 或更高。
• 必须具备编程能力，需要通过代码编写测试用例并作为库调用，不支持无代码配置。
• 若需使用 LLM-as-a-judge 评估指标，则要求提供 OpenAI API 密钥或自定义 LLM。

如何开始

• 要求 Python 3.9 或更高版本。可以通过 pip 安装 deepeval 库进行配置。
• 难度中等，需要具备 Python 知识并能用代码编写测试用例。成功路径为：通过 pip 安装，创建包含 LLMTestCase 和指标的 Python 测试文件，将 LLM API 密钥设置为环境变量，最后在 CLI 中运行测试。

核验依据

• README: DeepEval is a simple-to-use, open-source LLM evaluation framework, for evaluating large-language model systems. It is similar to Pytest but specialized for unit testing LLM apps.
• Release: Python 4.1.0
• README: Large variety of ready-to-use LLM eval metrics (all with explanations) powered by **ANY** LLM of your choice, statistical methods, or NLP models that run **locally on your machine…
• README: Use `evals_iterator()` to run the same dataset through your app, whether you instrument it manually or through one of DeepEval's framework integrations.
• README: - [ ] DAG custom metrics - [ ] Guardrails

内容核验时间：