huggingface/peft

项目概览

peft 将大模型微调后的检查点体积缩小至几 MB 级别（如 19MB vs 11GB），降低了存储与分发的资源门槛。

项目类型

模型开发 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要低成本适配大型预训练模型且寻求与全量微调效果相近的 AI 工程师与开发者。
• 希望以小体积检查点管理多个微调任务的数据团队。

核心能力

• 通过 get_peft_model 方法包装基础模型，利用 LoRA 等技术配置参数高效微调，在训练过程中仅更新极小比例的参数。
• 利用 PeftModel 在已加载的基础模型上加载并应用 PEFT 适配器，从而执行推理任务并生成结果。
• 在模型训练后生成体积仅为数 MB 的微型检查点文件，取代传统动辄数 GB 的全量模型文件。
• 将 PEFT 方法与模型量化技术相结合，使得在大型语言模型的训练和推理加载环节更加易于实现。

限制与风险

• 在 Transformers 中的集成并未涵盖 peft 的所有功能，例如目前暂不支持在 Transformers 框架内直接将适配器合并回基础模型。

如何开始

• 安装难度低，作为标准的 Python 库可通过 pip install peft 快速安装。首个成功路径为：在 Python 代码中调用 get_peft_model 函数包装预训练模型。

核验依据

• README: Fine-tuning large pretrained models is often prohibitively costly due to their scale. Parameter-Efficient Fine-Tuning (PEFT) methods enable efficient adaptation of large pretraine…
• README: Install PEFT from pip: ```bash pip install peft ``` Prepare a model for training with a PEFT method such as LoRA by wrapping the base model and PEFT configuration with `get_peft_m…
• README: To load a PEFT model for inference: ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel
• README: In many cases, you're only finetuning a very small fraction of a model's parameters and each checkpoint is only a few MBs in size (instead of GBs).
• README: Quantization is another method for reducing the memory requirements of a model by representing the data in a lower precision. It can be combined with PEFT methods to make it even…

内容核验时间：