lllyasviel/ControlNet

项目概览

ControlNet 是一种神经网络结构，通过为文本到图像扩散模型添加额外的空间条件来实现控制，同时不会破坏已有的生产级基础模型。

项目类型

模型开发 · 图像视觉 · 基础设施

应用场景

图片处理

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在文生图扩散模型中添加空间条件控制且不破坏原始模型的 AI 工程师和研究人员。
• 希望使用 Canny 边缘、HED 边界、深度图、法线图、人体姿态、语义分割或涂鸦等多种条件来引导图像生成的创作者。

核心能力

• 通过锁定副本和带有 1×1 零卷积的可训练副本，为扩散模型添加额外条件进行控制，防止在小数据集训练时破坏生产级模型。
• 在 Stable Diffusion 1.5 上使用 Canny 边缘检测作为控制条件。
• 在 Stable Diffusion 1.5 上使用软 HED 边界作为控制条件，适用于重新上色和风格化。
• 在 Stable Diffusion 1.5 上使用 512×512 深度图作为控制条件，相比 64×64 方案保留更多细节。
• 在 Stable Diffusion 1.5 上使用法线图作为控制条件，在保留几何信息方面优于深度图。
• 在 Stable Diffusion 1.5 上通过 Openpose 检测人体姿态作为控制条件。
• 在 Stable Diffusion 1.5 上使用基于 ADE20K 协议和 Uniformer 模型的语义分割作为控制条件。
• 通过 Gradio 界面接收用户涂鸦，在 Stable Diffusion 1.5 上作为控制条件。

限制与风险

• 动漫线稿模型目前不可用，需等待风险评估完成。
• 动漫线稿模型存在潜在风险，需要在发布前进行评估；在采用前应关注此项风险。

如何开始

• 创建 conda 环境并激活后，需从 Hugging Face 页面下载多个模型文件并放置到指定目录中，然后运行 gradio_canny2image.py 脚本。

核验依据

• README: Official implementation of [Adding Conditional Control to Text-to-Image Diffusion Models](https://arxiv.org/abs/2302.05543). ControlNet is a neural network structure to control di…
• README: title={Adding Conditional Control to Text-to-Image Diffusion Models}, author={Lvmin Zhang and Anyi Rao and Maneesh Agrawala}, booktitle={IEEE International Conference on Computer…
• README: We provide 9 Gradio apps with these models.
• README: Stable Diffusion 1.5 + ControlNet (using simple Canny edge detection) python gradio_canny2image.py
• README: The soft HED Boundary will preserve many details in input images, making this app suitable for recoloring and stylizing. Just try it for more details.

内容核验时间：