microsoft/LoRA

项目概览

microsoft/lora 提供低秩自适应（LoRA）层替换模块，在冻结原始预训练权重的前提下仅训练少量参数，从而降低大语言模型微调的存储开销并支持高效任务切换。

项目类型

模型开发 · 模型运行 · 基础设施

部署方式

查看项目说明

License

MIT

适合谁

• 需要在 PyTorch 中对大语言模型做参数高效微调并降低检查点存储开销的 AI 工程师、研究者和开发者。

核心能力

• 提供针对 nn.Linear、nn.Embedding、nn.Conv2d 的 PyTorch 模块替换，注入低秩分解矩阵，在冻结原始权重的同时仅训练部分参数。
• 提供工具函数，仅将 LoRA 参数（可选地包含偏置向量）标记为可训练，并将其他所有基础参数的 requires_grad 设为 False。
• 生成仅包含 LoRA 参数（及选定偏置）的 state_dict，用于高效保存检查点。
• 调用 model.eval() 时将 LoRA 参数与预训练权重合并以消除额外推理延迟；可通过 merge_weights=False 禁用该行为。
• 针对单个 nn.Linear 表示多个层（如注意力 qkv 投影）的情况提供 MergedLinear 层，用于约束各部分更新的秩。

限制与风险

• 目前仅支持 PyTorch 框架。
• 目前仅支持对 nn.Linear、nn.Embedding 和 nn.Conv2d 的替换。
• 需要从 Hugging Face 获取原始预训练检查点才能使用 LoRA 检查点。
• 集成时需修改现有 PyTorch 模型代码以替换标准层并调整训练循环。

如何开始

• 通过 pip install loralib 安装；随后将现有 nn.Linear 替换为 lora.Linear，调用 lora.mark_only_lora_as_trainable(model) 标记可训练参数，训练模型，并用 torch.save(lora.lora_state_dict(model), checkpoint_path) 保存检查点。此过程需要修改现有 PyTorch 模型代码并调整训练循环。

核验依据

• README: This repo contains the source code of the Python package `loralib` and several examples of how to integrate it with PyTorch models, such as those in Hugging Face. We only support…
• README: [loralib/](loralib) contains the source code for the package `loralib`, which needs to be installed to run the examples we provide;
• README: LoRA reduces the number of trainable parameters by learning pairs of rank-decompostion matrices while freezing the original weights. This vastly reduces the storage requirement fo…
• README: You can choose to adapt some layers by replacing them with counterparts implemented in `loralib`. We only support `nn.Linear`, `nn.Embedding`, and `nn.Conv2d` for now.
• README: Before the training loop begins, mark only LoRA parameters as trainable.

内容核验时间：