apple/ml-stable-diffusion

项目概览

该项目针对 Apple Silicon 硬件进行优化，利用了神经引擎和 GPU，为在 macOS、iOS 和 iPadOS 上实现本地化的 Stable Diffusion 端侧图像生成提供了官方可验证的工程路径。

项目类型

图像视觉

应用场景

图片处理

部署方式

查看项目说明

License

MIT

适合谁

• 需要在 Apple Silicon 硬件（M1 Mac、M1 iPad 或 A14 iPhone）上进行本地端侧图像生成集成的开发者。
• 需要将 PyTorch Stable Diffusion 模型转换为 Core ML 格式以供 Apple 生态系统使用的工程师。

核心能力

• 提供一个 Python 包，用于将 PyTorch Stable Diffusion 模型转换为 Core ML 格式。该能力利用了 Hugging Face diffusers 和 coremltools，使用户能够准备可在 Apple 生态运行的模型。状态：可用。
• 提供一个 Swift 包，用于在 Xcode 应用中部署图像生成能力。它允许开发者通过 Swift CLI 或库在设备端执行推理。状态：可用。
• 支持基于边缘图、深度图、分割图、涂鸦和姿态等信号对图像生成进行条件控制，扩展了端侧生成的可控性。状态：可用。

限制与风险

• 目前 ControlNet 功能尚不支持在 Stable Diffusion XL (SDXL) 模型中使用。
• Stable Diffusion 3 MMDiT 模型体积较大，随着潜在分辨率的增加，转换它将需要更多的内存和时间。

如何开始

• 上手的首选成功路径为：安装 python_coreml_stable_diffusion 包，将 PyTorch 模型转换为 Core ML 格式，将 StableDiffusion Swift 包添加至 Xcode 项目，最后使用 Swift CLI 或库生成图像。由于需要 Python 转换和 Xcode 构建，上手难度较大。

核验依据

• README: `python_coreml_stable_diffusion`, a Python package for converting PyTorch models to Core ML format and performing image generation with Hugging Face [diffusers](https://github.com…
• README: macOS | iPadOS, iOS | :------:|:-----------:| 13.1 | 16.2 |
• README: Mac | iPad | iPhone | :------:|:-------:|:-------:| M1 | M1 | A14 |
• README: swift run StableDiffusionSample "a photo of an astronaut riding a horse on mars" --resource-path <output-mlpackages-directory>/Resources/ --seed 93 --output-path </path/to/output/…
• README: coremltools-7.0 supports advanced weight compression techniques for [pruning](https://coremltools.readme.io/v7.0/docs/pruning), [palettization](https://coremltools.readme.io/v7.0/…

内容核验时间：