phillipi/pix2pix

项目概览

该仓库是 CVPR 2017 pix2pix 论文的原始 Torch 参考实现，并提供训练、测试、预训练模型与数据集脚本。

项目类型

图像视觉

应用场景

图片处理

部署方式

查看项目说明

License

License 待确认

适合谁

• 适合需要研究、复现或核对 pix2pix 论文原始 Torch 实现的研究人员和开发者。
• 适合拥有配对图像数据、能够使用命令行并愿意配置 Lua Torch 环境的用户。

核心能力

• 仓库已提供 Torch 实现和相关脚本，通过条件对抗网络学习输入图像到输出图像的映射，用于构建图像转换实验。
• 仓库已支持在配对数据集上训练模型，并可配置从 A 到 B 或从 B 到 A 的转换方向，便于按数据定义选择目标映射。
• 仓库已支持在验证集或测试集上运行训练后的模型，并保存结果图像及用于查看结果的网页，便于集中检查输出。
• 仓库已提供立面生成、城市街景转换、边缘到鞋、边缘到手提包和昼夜转换等任务的预训练模型，可用于对应任务的测试。
• 仓库已提供脚本，用于下载立面、城市街景、地图、边缘到鞋、边缘到手提包和夜晚到白天等数据集，为示例训练准备数据。
• 仓库已提供 Python 脚本，将一对 A、B 图像合并为单个图像文件，以生成训练所需的配对数据格式。
• 仓库已支持着色任务训练，流程会将 RGB 图像转换到 Lab 色彩空间，使输入和目标可按该任务的数据表示参与训练。
• 仓库已提供 Python 和 Matlab 脚本，并依赖 HED 边缘检测器从照片中提取粗边缘，用于准备边缘相关转换任务的数据。

限制与风险

• 该仓库使用 Lua Torch，作者明确推荐活跃开发采用 PyTorch 版本；新项目需要评估继续使用旧技术栈的维护代价。
• CPU 模式以及不使用 CuDNN 的 CUDA 模式可能通过少量修改工作，但仓库资料将其标记为未经测试，不能据此假定可直接运行。
• 用于评估的预训练 FCN 模型不应直接用于 Cityscapes 的 1024×2048 原始分辨率，规划评估流程时需要遵守这一适用条件。
• Lua Torch 属于较旧且已弃用的框架生态；若用于长期开发，需要评估依赖获取、环境维护和后续迁移问题。

如何开始

• 先安装 Lua Torch，再安装 nngraph 和 display；如使用推荐的 GPU 环境，还需要准备 CUDA 与 CuDNN。
• 取得仓库源码后，下载或准备数据集，按配对数据要求组织输入，运行训练流程，再使用验证集或测试集执行测试并查看保存的图像和结果网页。
• 该项目需要使用命令行参数、环境变量并可能修改 Lua 脚本，因此上手过程要求编码和终端操作能力。

核验依据

• GitHub 项目简介: Image-to-image translation with conditional adversarial nets
• README: Torch implementation for learning a mapping from input images to output images
• README: The test results will be saved to an html file here: `./results/facades_generation/latest_net_G_val/index.html`.
• README: DATA_ROOT=./datasets/facades name=facades_generation which_direction=BtoA th train.lua
• README: DATA_ROOT=/path/to/data/ name=expt_name which_direction=AtoB th train.lua

内容核验时间：