XavierXiao/Dreambooth-Stable-Diffusion

项目概览

dreambooth-stable-diffusion 允许用户仅用少量样本图像，对完整的 Stable Diffusion 模型进行 Dreambooth 微调，从而学习特定主题。用户可利用生成的个性化检查点，通过文本提示生成该主题的专属图像。

项目类型

模型开发 · 图像视觉

部署方式

查看项目说明

License

MIT

适合谁

• 具备本地环境配置能力、需要使用少量图像对 Stable Diffusion 模型进行定制微调的 AI 工程师和研究人员。

核心能力

• 使用用户提供的图像和正则化图像，训练并微调整个 Stable Diffusion Unet 模型以学习特定主题。
• 利用微调后的检查点，通过运行带有主题标识符提示词的文本到图像脚本来生成个性化图像。
• 通过为 Unet 开启梯度检查点技巧，减少训练过程中的 GPU 显存消耗。

限制与风险

• 用户需自行获取所需的预训练 Stable Diffusion 模型检查点。

如何开始

• 设置难度较高：需遵循 Textual Inversion 或 Stable Diffusion 代码库的指引手动配置 ldm 环境，并自行获取所需的预训练模型权重。

核验依据

• README: To enable people to fine-tune a text-to-image model with a few examples, I implemented the idea of Dreambooth on Stable diffusion. This code repository is based on that of Textual…
• README: I just found a way to reduce the GPU memory a bit.
• README: First set-up the ```ldm``` enviroment following the instruction from textual inversion repo, or the original Stable Diffusion repo.
• README: I train the model use two A6000 GPUs and it takes ~15 mins.
• README: After training, personalized samples can be obtained by running the command python scripts/stable_txt2img.py --ddim_eta 0.0 --n_samples 8 --n_iter 1 --scale 10.0 --ddim_steps 100…

内容核验时间：