OpenRLHF/OpenRLHF

项目概览

openrlhf 是一个面向大语言模型和多模态模型的人类反馈强化学习（RLHF）及智能体强化学习训练框架，采用基于 Ray 和 vLLM 的分布式架构。

项目类型

AI Agent · 模型开发 · 模型运行 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在大规模分布式 GPU 环境中对大语言模型或视觉语言模型进行 RLHF 训练的 AI 工程师
• 需要实验多种 RL 算法（PPO、GRPO、RLOO 等）并结合单轮或多轮智能体执行模式的强化学习研究人员

核心能力

• 实现了 PPO、REINFORCE++、REINFORCE++-baseline、GRPO 和 RLOO 等多种 RL 算法，与智能体执行模式解耦。
• 采用统一的智能体设计范式，支持单轮和多轮执行模式，使用 token-in-token-out 管线，支持自定义奖励函数与环境。
• 支持在单轮和多轮 RL 训练中对带图像输入的视觉语言模型（VLM）进行训练。

限制与风险

• 训练和推理均需要 GPU；分布式训练与 vLLM 推理需要多 GPU 配置。
• 使用前需要准备预训练的语言模型或视觉语言模型。
• 文档指出异步训练模式可能对训练稳定性产生影响，采用前需关注此风险。

如何开始

• 搭建过程需要配置分布式多 GPU 环境，涉及 Ray、vLLM 和 DeepSpeed。建议的成功路径为：启动带 NVIDIA runtime 的 Docker 容器，通过 pip 安装 openrlhf，启动 Ray 主节点，准备数据集，然后运行训练命令行。

核验依据

• README: OpenRLHF is **the first** high-performance, production-ready open-source RLHF framework that combines **Ray + vLLM distributed architecture** with a **unified agent-based design p…
• GitHub 项目简介: An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
• README: OpenRLHF is **the first RLHF framework** built on Ray + vLLM distributed architecture, orchestrating multiple components across GPUs efficiently:
• README: | **SFT** | [train_sft.sh](./examples/scripts/train_sft.sh) | Supervised fine-tuning with packing |
• README: OpenRLHF implements **PPO, REINFORCE++, REINFORCE++-baseline, GRPO, RLOO** with advanced optimization tricks inspired by practical guides and community best practices.

内容核验时间：