AliaksandrSiarohin/first-order-model

项目概览

first-order-model 提供源代码和预训练检查点，通过将驱动视频中的动作迁移到静止源图像来实现图像动画，支持在多种数据集上进行动作重定向。

项目类型

模型运行 · 图像视觉 · 视频技术

应用场景

视频制作

部署方式

查看项目说明

License

MIT

适合谁

• 具备 Python 环境操作和命令行使用能力、需要在多种数据集上进行图像动画和动作重定向的研究人员与开发者。

核心能力

• 使用从驱动视频中迁移的动作对源图像进行动画化处理，可选择绝对或相对关键点位置。
• 允许在特定数据集或用户提供的自定义视频数据上训练动作模型。
• 使用生成的视频输出评估重建性能并计算相关指标。
• 利用 ffmpeg 和 face-alignment 库为驱动视频生成半自动裁剪建议。

限制与风险

• 驱动视频和源图像在使用该方法前需要进行裁剪处理。
• 作者在一篇新论文中指出，针对 articulated objects 已有改进框架可供参考。

如何开始

• 通过 pip 安装依赖，从 Google Drive 或 Yandex Disk 下载预训练检查点，准备裁剪好的驱动视频和源图像，然后运行 python demo.py 命令。

核验依据

• README: !!! Check out our new paper and framework improved for articulated objects
• README: This repository contains the source code for the paper First Order Motion Model for Image Animation
• README: The bottom row contains the animated sequences with motion transferred from the driving video and object taken from the source image.
• README: Checkpoints can be found under following link: google-drive or yandex-disk.
• README: We support python3. To install the dependencies run: pip install -r requirements.txt

内容核验时间：