ostris/ai-toolkit

项目概览

该项目针对在消费级硬件上微调扩散模型的需求，提供了涵盖 LoRA 与 LoKr 训练、数据集自动处理、检查点管理及 Web 界面的综合工具链，降低了用户的本地训练门槛。

项目类型

模型开发 · 图像视觉 · 视频技术 · 语音音频

应用场景

图片处理

部署方式

查看项目说明

License

MIT

适合谁

• 需要在本地消费级硬件上微调扩散模型的创作者、开发者和 AI 工程师。
• 希望通过图形界面管理训练任务，或通过编辑配置文件自定义训练流程的用户。

核心能力

• 支持在扩散模型上训练 LoRA，并允许配置网络参数。
• 通过在配置文件中调整网络类型，即可训练 LoKr 模型。
• 使用 only_if_contains 和 ignore_if_contains 网络参数，可以训练或排除特定网络层。
• 提供一个 Web 界面，用于启动、停止和监控任务，并训练模型。
• 自动保存检查点，并支持从上一个检查点恢复训练。
• 自动调整图像大小，无需手动裁剪即可处理不同长宽比，并支持在说明文字中替换触发词。
• 支持在 Modal 云基础设施上运行训练任务。

限制与风险

• 在数据集中使用 WebP 格式的图像目前存在问题。
• macOS 系统的支持处于实验阶段，且未在高内存 Mac 上进行过测试。
• 在工具包正在保存检查点时按下 ctrl+c 很可能会导致该检查点损坏。

如何开始

• 首先克隆项目仓库，进入目录后创建并激活 Python 虚拟环境，随后安装指定版本的 torch、torchvision、torchaudio 以及项目依赖文件中的其他包。
• 手动编辑 YAML 配置文件设置训练参数，然后通过命令行执行 python run.py 并传入配置文件路径来启动训练任务。

核验依据

• README: AI Toolkit is an easy to use all in one training suite for diffusion models. I try to support all the latest models on consumer grade hardware. Image and video models. It can be r…
• README: - [black-forest-labs/FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev) (FLUX.1)
• README: - [black-forest-labs/FLUX.1-Kontext-dev](https://huggingface.co/black-forest-labs/FLUX.1-Kontext-dev) (FLUX.1-Kontext-dev)
• README: - [Wan-AI/Wan2.1-T2V-1.3B-Diffusers](https://huggingface.co/Wan-AI/Wan2.1-T2V-1.3B-Diffusers) (Wan 2.1 1.3B)
• README: - [ACE-Step/Ace-Step1.5](https://huggingface.co/ACE-Step/Ace-Step1.5) (Ace Step 1.5)

内容核验时间：