lucidrains/PaLM-rlhf-pytorch

项目概览

palm-rlhf-pytorch 提供在 PaLM 架构上实现人类反馈强化学习（RLHF）的开源实现，包含 PaLM、奖励模型和 RLHF 训练器三个核心组件，用于复现类似 ChatGPT 的训练流程。

项目类型

模型开发 · 模型运行 · 基础设施

部署方式

查看项目说明

License

MIT

适合谁

• 希望在 PaLM 架构上实现 RLHF 训练、具备充足算力与编程能力的 AI 工程师和研究人员。

核心能力

• 实现基础 PaLM 自回归 Transformer，用于训练和序列生成。
• 使用整理后的人类反馈数据训练奖励模型，并提供 LoRA 微调选项。
• 利用预训练的 PaLM 和奖励模型，生成经过优化的样本。
• 集成 Flash Attention 以优化注意力机制。
• 计划使用 Django + HTMX 构建简单 Web 界面，用于收集人类反馈。
• 计划集成 Hugging Face Accelerate 和 Wandb，用于日志记录和监控。

限制与风险

• 项目仅提供架构和训练框架，不包含训练完成的模型。
• 在超高维参数空间中到达目标点需要价值数百万美元的算力和数据投入。

如何开始

• 通过 pip install palm-rlhf-pytorch 安装，随后实例化并训练 PaLM 模型；安装难度为中等，但需要有意义的编程和算力投入。

核验依据

• GitHub 项目简介: Implementation of RLHF (Reinforcement Learning with Human Feedback) on top of the PaLM architecture. Basically ChatGPT but with PaLM
• README: Implementation of RLHF (Reinforcement Learning with Human Feedback) on top of the PaLM architecture.
• README: If you are interested in replicating something like ChatGPT out in the open
• README: There is no trained model. This is just the ship and overall map. We still need millions of dollars of compute + data to sail to the correct point in high dimensional parameter sp…
• README: palm = PaLM( num_tokens = 20000, dim = 512, depth = 12, flash_attn = True # https://arxiv.org/abs/2205.14135 ).cuda() seq = torch.randint(0, 20000, (1, 2048)).cuda() loss = palm(s…

内容核验时间：