PaddlePaddle/PaddleNLP

项目概览

提供涵盖 Nvidia GPU、昆仑 XPU、昇腾 NPU 等多种国内外硬件的统一训练与推理适配，在国产硬件选型中具有参考价值。

项目类型

模型开发 · 模型运行 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 具备 Python 编码能力并希望在多种国内外硬件上开发或微调大语言模型的 AI 工程师与数据团队。

核心能力

• 提供数据并行、分片数据并行、张量并行、流水线并行的 4D 并行训练策略，并结合零填充数据流和 FlashMask 实现高效微调。
• 为并行推理加速提供动态插入与算子融合机制，支持 INT8、FP8 及 4-bit 量化方法和投机解码。
• 提供 Auto API 用于快速加载大语言模型和分词器，支持 LLaMA、Qwen、DeepSeek、ChatGLM 等模型系列。
• 支持在 Nvidia GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 及海光 DCU 等多种硬件上进行训练和推理。
• 提供支持机器资源动态扩展的检查点存储工具，据项目自述可节省至多 78.5% 存储空间并加快模型存储速度。

限制与风险

• 要求系统中必须安装 PaddlePaddle 3.0.0rc1 及以上版本作为严格依赖。

如何开始

• 通过 pip 安装 paddlenlp 及底层 paddlepaddle 框架，随后使用 Auto API 即可加载模型和分词器进行后续开发。该过程要求使用者具备 Python 编码知识。

核验依据

• GitHub 项目简介: Easy-to-use and powerful LLM and SLM library with awesome model zoo.
• README: PaddleNLP 现已支持 Qwen3 系列模型
• README: 《飞桨产业级大语言模型开发利器 PaddleNLP 3.0 重磅发布》
• README: PaddleNLP是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件，支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。
• README: 支持纯数据并行策略、分组参数切片的数据并行策略、张量模型并行策略和流水线模型并行策略的4D 高性能训练

内容核验时间：