open-mmlab/mmagic

项目概览

持续集成 NAFNet、Restormer、DreamBooth 等前沿算法实现，可作为了解 AIGC 图像视频生成与修复算法的参考项目。

项目类型

模型开发 · 模型运行 · 图像视觉 · 视频技术

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在统一、灵活的框架内进行生成式 AI（AIGC）算法实验或模型微调的深度学习研究员和 AI 工程师。

核心能力

• 内置 NAFNet、Restormer、SwinIR 等算法，用于图像和视频的修复任务。该能力现已可用。
• 支持 DreamBooth 和 DreamBooth LoRA 等扩散模型微调方法，用于调整扩散模型以满足定制化需求。该能力现已可用。
• 支持基于多帧渲染（MultiFrame Render）的视频生成功能，用于生成视频内容。该能力现已可用。
• 支持主流的图像修复（Inpainting）与抠图（Matting）应用。该能力现已可用。
• 提供基于 GAN 的 SRCNN、ESRGAN 等多种超分辨率算法。该能力现已可用。
• 将复杂的图像编辑框架分解为多个独立组件，允许用户像拼搭乐高积木一样灵活组合它们，方便构建定制化编辑器。该能力现已可用。

限制与风险

• 框架的最佳实践和功能运行要求在 Python 3.9 及以上版本的环境中进行，较老的解释器可能会遇到兼容性问题。

如何开始

• 推荐在配置好 Python 环境的前提下，先安装 PyTorch 2.0+ 及其依赖，再通过 MIM（OpenMMLab 的包管理器）安装 MMCV、MMEngine 和 mmagic。安装完成后，运行简单的 Python 导入验证命令即可确认环境是否配置成功。整体配置具有一定门槛，需要熟悉命令行操作。

核验依据

• README: MMagic (**M**ultimodal **A**dvanced, **G**enerative, and **I**ntelligent **C**reation) is an advanced and comprehensive AIGC toolkit that inherits from [MMEditing](https://github.…
• README: MMagic will provide more agile and flexible experimental support for researchers and AIGC enthusiasts, and help you on your AIGC exploration journey.
• README: MMagic provides state-of-the-art generative models to process, edit and synthesize images and videos.
• README: By using MMEngine and MMCV of OpenMMLab 2.0 framework, MMagic decompose the editing framework into different modules and one can easily construct a customized editor framework by…
• README: An advanced and powerful inpainting algorithm named PowerPaint is released in our repository.

内容核验时间：