NVIDIA-NeMo/Guardrails

项目概览

它已同时覆盖输入、对话、输出、RAG 检索内容和工具执行五类控制边界，并配套服务端、命令行与评估工具。

项目类型

AI Agent · 基础设施

应用场景

知识问答

部署方式

查看项目说明

License

License 待确认

适合谁

• 适合具备 Python 编码能力，并愿意自行设计、集成和验证护栏配置的开发团队与人工智能工程团队。
• 适合希望同时控制输入、对话路径、模型输出、RAG 检索内容和工具执行边界的复杂对话应用。
• 适合需要本地运行或自托管，并希望通过代码库、命令行或 HTTP API 接入护栏的团队。

核心能力

• 在用户输入进入后续流程前对其进行拒绝或修改，例如遮蔽敏感数据、阻止越狱内容。该能力已可用，价值在于尽早拦截风险，减少恶意或敏感输入继续传播。
• 通过影响模型提示方式，决定是否执行某项动作或使用预定义回复。该能力已可用，可用于约束对话分支和关键操作，降低完全开放式生成带来的不可控性。
• 在模型生成回答后对内容进行拒绝或修改，例如移除敏感数据。该能力已可用，为最终返回给用户的内容增加一道独立检查与处理环节。
• 在 RAG 场景中，对检索到的内容片段进行拒绝或修改，再将其用于提示模型。该能力已可用，可避免不合适的检索材料未经检查便进入生成上下文。
• 对模型调用自定义动作或工具时的输入和输出实施控制。该能力已可用，可将约束延伸到工具执行边界，而不只检查用户消息与模型回答。
• 加载护栏配置并通过 HTTP API 提供聊天补全接口。该能力已可用，适合将护栏作为独立服务接入应用，而无需让每个调用方直接管理配置加载。
• 内置命令行界面可启动服务端、开启交互式聊天并运行评估。该能力已可用，便于开发者在正式集成前进行配置调试、交互验证和效果检查。
• 使用专门的建模语言设计灵活且可控的对话流程。该能力已可用，使团队能够显式表达对话路径，而不是只依靠自然语言提示隐式约束模型行为。

限制与风险

• 内置护栏可能适合，也可能不适合特定生产场景。团队需要使用自身数据、攻击方式、业务规则和可接受误判范围进行验证，不能直接把默认能力视为上线结论。
• 代码库的遥测退出设置不覆盖第三方端点；外部服务拥有各自独立的条款与隐私实践。若选择外部模型或服务，必须分别审查数据流向和处理规则。
• OpenAI API 与 NVIDIA Build 均属于可选外部服务，使用这些服务可能形成付费依赖；若选择对应模型或端点，应在架构与预算评估中单独计算。

如何开始

• 先使用 `pip install nemoguardrails` 安装包，再通过 `RailsConfig.from_path` 加载护栏配置，最后用 `rails.generate` 传入消息并生成结果。这一路径要求具备 Python 编码能力。
• 上手难度为中等，主要原因是使用者需要编写 Python 代码，并理解大语言模型和护栏相关概念；如果还要建模对话路径，则需进一步掌握 Colang。
• 可利用命令行启动交互式聊天检查配置行为，再运行主题护栏、事实核查、内容审核和幻觉相关评估，以形成上线前的基础验证流程。

核验依据

• GitHub 项目简介: NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems.
• README: NVIDIA NeMo Guardrails library is an open-source toolkit for easily adding *programmable guardrails* to LLM-based conversational applications.
• README: The NeMo Guardrails library provides several mechanisms for protecting an LLM-powered chat application against common LLM vulnerabilities, such as jailbreaks and prompt injections.
• README: The NeMo Guardrails library enables developers building LLM-based applications to add **programmable guardrails** between the application code and the LLM.
• README: If you use the NeMo Guardrails library, cite the [EMNLP 2023 paper](https://aclanthology.org/2023.emnlp-demo.40) that introduces it.

内容核验时间：