OpenPipe/ART

项目概览

该项目将 GRPO 强化学习与轨迹奖励结合，针对多步 LLM 智能体提供从轨迹数据到 LoRA 检查点输出的完整训练流程，填补了智能体从经验中学习的工程化需求。

项目类型

AI Agent · 模型开发 · 基础设施

应用场景

自动化执行

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 具备强化学习概念理解并编写 Python 训练代码的 AI 工程师，需要对多步 LLM 智能体进行基于经验的学习训练。

核心能力

• 使用 GRPO 算法和轨迹奖励对多步 LLM 智能体进行强化训练。
• 训练 LoRA 适配器并将新生成的检查点保存到本地目录。

限制与风险

• Gemma 3 目前不在此项目的支持范围内，使用该模型时需注意兼容性问题。

如何开始

• 通过 pip install openpipe-art 安装，随后设置 TrainableModel、注册后端并运行训练循环；该过程需要编写 Python 代码定义训练循环和模型，并理解强化学习概念与基础模型兼容性。

核验依据

• GitHub 项目简介: Agent Reinforcement Trainer: train multi-step agents for real-world tasks using GRPO.
• README: ART is an open-source RL framework that improves agent reliability by allowing LLMs to **learn from experience**. ART provides an ergonomic harness for integrating GRPO into any p…
• README: Train multi-step agents for real-world tasks using GRPO.
• README: ART provides convenient wrappers for introducing RL training into **existing applications**. We abstract the training server into a modular service that your code doesn't need to…
• README: **Train from anywhere.** Run the ART client on your laptop and let the ART server kick off an ephemeral GPU-enabled environment, or run on a local GPU.

内容核验时间：