raga-ai-hub/RagaAI-Catalyst

项目概览

在一个 SDK 内集成了从 Agentic 追踪、评估到红队测试的完整工具链，且支持 OpenAI 和 XAI 等多个 LLM 提供商。

项目类型

AI Agent · RAG 与知识库 · 评测观测

应用场景

自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要进行 LLM 和 Agentic AI 应用评估、追踪和监控的 AI 工程师和开发者。
• 接受通过编写 Python 代码并与外部平台集成来实现 AI 项目管理的团队。

核心能力

• 创建和管理项目，以及列出项目的用例。
• 为项目高效管理数据集，包括从 CSV 文件创建数据集。
• 使用内置和自定义指标创建并管理 RAG 应用的指标评估。
• 记录并分析 RAG 应用的执行轨迹。
• 提供对 AI 智能体系统的监控和分析，包括 LLM 交互、工具使用和网络活动。
• 在项目中高效管理和使用提示词，包括列出并获取特定版本的提示词。
• 使用已配置的模型，根据指令或 CSV 文件生成评估示例。
• 获取部署详情，并将护栏添加到特定的部署 ID 中。

限制与风险

• 执行 SDK 提供的任何操作之前，必须先完成针对 RagaAICatalyst 的身份认证。
• 使用该工具需要外部 RagaAI Catalyst 平台且涉及付费，评估和生成合成数据等任务也需要外部 LLM 模型支持。

如何开始

• 通过 pip 安装包，在代码中设置 RagaAICatalyst 类的 access_key、secret_key 和 base_url 完成外部认证后即可初始化。

核验依据

• GitHub 项目简介: Python SDK for Agent AI Observability, Monitoring and Evaluation Framework.
• README: RagaAI Catalyst is a comprehensive platform designed to enhance the management and optimization of LLM projects.
• README: To install RagaAI Catalyst, you can use pip: ```bash pip install ragaai-catalyst ```
• README: Create and manage projects using RagaAI Catalyst:
• README: Manage datasets efficiently for your projects:

内容核验时间：