magic-research/magic-animate

项目概览

该项目利用扩散模型解决人体图像动画中的时间一致性问题，同时提供在线演示和本地部署两种方式，支持单 GPU 和多 GPU 推理。

项目类型

模型运行 · 图像视觉 · 视频技术

应用场景

图片处理 · 视频制作

部署方式

查看项目说明

License

BSD-3-Clause

适合谁

• 需要基于扩散模型生成时间一致性人体图像动画的研究人员和开发者。

核心能力

• 使用扩散模型生成时间一致的人体图像动画。
• 支持在单个 GPU 上运行推理以生成动画。
• 支持将推理分布到多个 GPU 上执行。
• 可启动本地 Web 界面来运行动画推理。
• 提供托管的在线 Gradio 演示以便快速试用模型。

限制与风险

• 需要手动下载特定的预训练模型和检查点才能使用。
• 需要特定版本的 CUDA 和 GPU 才能高效运行，属于部署前需评估的硬件条件。

如何开始

• 安装难度较高，需要手动下载多个大型预训练模型，并准备特定版本的 CUDA 和 ffmpeg；可使用 environment.yaml 创建 conda 环境后启动本地 Gradio 演示。

核验依据

• GitHub 项目简介: MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
• README: Release inference code and gradio demo. We are working to improve MagicAnimate, stay tuned!
• README: Download the pretrained base models for StableDiffusion V1.5 and MSE-finetuned VAE. Download our MagicAnimate checkpoints.
• README: prerequisites: `python>=3.8`, `CUDA>=11.3`, and `ffmpeg`.
• README: Run inference on single GPU: ```bash bash scripts/animate.sh ``` Run inference with multiple GPUs: ```bash bash scripts/animate_dist.sh ```

内容核验时间：