cloneofsimo/lora

项目概览

cloneofsimo/lora 使用低秩适配（LoRA）加速 Stable Diffusion 微调，可生成约 1MB 至 6MB、便于分享和下载的权重，并支持模型合并与插值。

项目类型

模型开发 · 图像视觉 · 基础设施

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 适合具备 Python 和命令行使用能力，并能理解微调配置与参数的 AI 工程师或研究人员。
• 适合需要快速定制 Stable Diffusion，并希望获得约 1MB 至 6MB 小型可分享权重的用户。

核心能力

• 使用 LoRA，通过 Dreambooth、Textual Inversion 或 Pivotal Tuning 微调 Stable Diffusion，速度快于 Dreambooth 方法。
• 通过 lora_add CLI 合并或插值多个 LoRA，或将 LoRA 与基础检查点合并，并支持转换为 CKPT 格式。
• 提供开箱即用的多向量 Pivotal Tuning Inversion 命令行工具 lora_pti，可结合人脸分割与 Textual Inversion 进行训练。
• 可通过命令行使用 SVD 蒸馏，将完整训练的模型蒸馏为 LoRA 模型。
• 提供 inject_trainable_lora API，可在 UNet 等 PyTorch 模型中以编程方式注入和提取可训练的 LoRA 参数。
• 计划支持与 LoRA 类似的 Kronecker 积适配。
• 时间感知微调属于计划中的后续增强能力。

限制与风险

• 本仓库采用的文件格式与 Huggingface diffusers 当前集成的格式不同，采用前需要核对模型交换与转换流程。
• LoRA alpha 设置过高可能导致过拟合，采用时需要预留手动调参和验证的环节。

如何开始

• 先执行 `pip install git+https://github.com/cloneofsimo/lora.git`，再准备数据集并下载基础模型，最后使用带参数的 lora_pti CLI 启动训练；使用者需要理解微调配置和参数。

核验依据

• README: pip install git+https://github.com/cloneofsimo/lora.git
• README: However, the fine-tuning process is very slow, and it is not easy to find a good balance between the number of steps and the quality of the results. Also, the final results (fully…
• README: Their model is nicely ported through Huggingface API, so this repo has built various fine-tuning methods around them.
• README: - Fine-tune Stable diffusion models twice as fast than dreambooth method, by Low-rank Adaptation - Get insanely small end result (1MB ~ 6MB), easy to share and download.
• GitHub 项目简介: Using Low-rank adaptation to quickly fine-tune diffusion models.

内容核验时间：