yangjianxin1/Firefly

项目概览

Firefly 为训练和适配主流开源大语言模型提供可配置的全参数、LoRA 和 QLoRA 工作流，涵盖预训练、指令微调与 DPO 偏好优化。

项目类型

模型开发 · 模型运行

部署方式

查看项目说明

License

License 待确认

适合谁

• 需要为众多主流开源大语言模型配置和运行预训练、指令微调或 DPO 工作流的 AI 工程师和开发者。

核心能力

• 为受支持的主流开源大语言模型运行预训练、指令微调和 DPO 工作流。
• 提供全参数训练以及 LoRA 和 QLoRA 高效训练模式。
• 使用配置文件训练不同模型，允许用户检查、修改或添加模型训练配置。
• 提供兼容该项目训练模型的多轮对话脚本。
• 接受带有必需 conversation 字段的 JSONL 训练数据，并以统一格式记录可复用的指令数据集。
• 支持 4-bit 推理以降低 VRAM 需求，但存在记录在案的质量折损。

限制与风险

• 项目发布的模型在事实知识方面可能会产生错误的回答。
• 项目发布的模型在编码和推理能力方面仍存在不足。
• 4-bit 推理可降低 VRAM 需求，但可能会轻微降低质量。
• 由于未经过无害性微调，项目发布的模型可能会生成歧视性、有害或不道德的声明。

如何开始

• 设置难度较高：需处理文档记录的特定模型依赖版本与兼容性例外；训练前需选择或修改配置文件，并运行 Python、DeepSpeed 或 torchrun 命令。

核验依据

• README: **Firefly** 是一个开源的大模型训练项目，支持对主流的大模型进行预训练、指令微调和DPO，包括但不限于Qwen2、Yi-1.5、Llama3、Gemma、Qwen1.5、MiniCPM、MiniCPM3、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistr…
• README: 本项目支持**全量参数训练、LoRA、QLoRA高效训练**，支持**预训练、SFT、DPO**。 如果你的训练资源有限，我们极力推荐使用QLoRA进行指令微调，因为我们在Open LLM Leaderboard上验证了该方法的有效性，并且取得了非常不错的成绩。
• README: 训练时的参数配置存储在train_args目录下，方便统一管理和更改。大家可以在train_args目录下查看不同模型的训练配置，按需修改或添加。
• README: 我们提供了多轮对话的交互脚本，详见script/chat目录，该脚本可同时兼容本项目训练的所有模型进行推理。
• README: 训练数据为jsonl格式，每一行的数据格式如下，其中conversation字段是必需的，可以根据实际需求添加或删除其他字段。

内容核验时间：