vibrantlabsai/ragas

项目概览

该项目将基于 LLM 的客观指标评估与传统指标结合，能为团队建立数据驱动的评估流程。

项目类型

评测观测 · 提示词工程

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要以数据驱动方式客观评估和优化 LLM 应用的 AI 工程师和开发者。

核心能力

• 通过基于 LLM 的评估方式和传统评估指标，对 LLM 应用进行评估。
• 自动创建覆盖多种场景的测试数据集，用于 LLM 应用的评估。
• 利用生产环境数据来持续改进 LLM 应用。
• 生成针对特定评估任务（如 RAG 评估）的完整示例项目。
• 提供用于评估 AI Agent 的模板（此能力目前处于计划阶段）。
• 提供用于对 LLM 进行基准测试和比较的模板（此能力目前处于计划阶段）。
• 提供用于评估提示词变体的模板（此能力目前处于计划阶段）。
• 提供用于评估复杂工作流的模板（此能力目前处于计划阶段）。

限制与风险

• 项目会收集少量且经过匿名化处理的遥测使用数据，但用户可以通过设置 RAGAS_DO_NOT_TRACK 来禁用此功能。

如何开始

• 可通过 pip 安装项目，然后运行 quickstart 命令生成一个完整的 RAG 评估示例项目并执行。

核验依据

• README: Ragas is your ultimate toolkit for evaluating and optimizing Large Language Model (LLM) applications. Say goodbye to time-consuming, subjective assessments and hello to data-drive…
• README: - 🎯 Objective Metrics: Evaluate your LLM applications with precision using both LLM-based and traditional metrics. - 🧪 Test Data Generation: Automatically create comprehensive tes…
• README: Pypi: ```bash pip install ragas ```
• README: The fastest way to get started is to use the `ragas quickstart` command:
• README: ragas quickstart rag_eval

来源更新时间：2026-07-08T09:16:04Z