modelscope/DiffSynth-Studio

项目概览

该项目通过重新设计的推理流水线和 CPU Offload 机制，使大型 Diffusion 模型能在消费级 GPU 上运行，LoRA 训练所需的显存门槛得以降低，适合资源受限的研究者和开发者进行技术探索。

项目类型

模型开发 · 图像视觉 · 视频技术 · 基础设施

应用场景

图片处理

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要使用消费级 GPU 对主流 Diffusion 模型进行推理和 LoRA 训练的开发者与研究者。

核心能力

• 使用重新设计的流水线和显存管理运行主流 Diffusion 模型的推理。
• 为支持的 Diffusion 模型提供全量训练和 LoRA 训练流水线。
• 在训练过程中将模型权重在 CPU 和 GPU 之间移动以减少 GPU 显存占用，使 LoRA 训练可在消费级 GPU 上进行。
• 根据可用显存自动控制参数加载，使模型可在有限的 GPU 显存条件下运行。
• 支持使用 FID、CLIP、Aesthetic、PickScore、ImageReward、HPSv2 和 HPSv3 等指标进行图像质量评估。
• 为 Diffusion 模型设计的插件框架，用于降低训练可控生成模型的门槛。
• 一组可组合的 Agent Skills，用于自动化集成外部 Diffusion 模型的整个工作流程。

限制与风险

• FP8 量化对 Z-Image Turbo 的图像质量会造成退化，使用前需评估此影响。
• 开发人员有限，导致新功能开发和问题解决速度较慢。
• 大版本更新后部分旧功能将不再维护，升级时需确认所依赖的功能是否仍被支持。

如何开始

• 克隆源码仓库后进入目录，使用 pip install -e . 安装，然后编写 Python 脚本加载流水线并运行推理。安装需要 Python 环境配置和基础编码能力。

核验依据

• README: [](https://pypi.org/project/DiffSynth/)
• README: We believe that a well-developed open-source code framework can lower the threshold for technical exploration.
• README: DiffSynth-Studio redesigns the inference and training pipelines for mainstream Diffusion models (including FLUX, Wan, etc.), enabling efficient memory management and flexible mode…
• README: - **July 21, 2026** We have open-sourced [DiffSynth-Studio Model Integration Skills](https://www.modelscope.cn/collections/DiffSynth-Studio/DiffSynth-Studio-Model-Integration-Skil…
• README: prompt = "Young Chinese woman in red Hanfu, intricate embroidery. Impeccable makeup, red floral forehead pattern. Elaborate high bun, golden phoenix headdress, red flowers, beads.…

内容核验时间：