horovod/horovod

项目概览

horovod 将单 GPU 训练脚本扩展到多 GPU 或多主机分布式训练，通过 MPI 概念简化分布式训练代码并以较高扩展效率运行。

项目类型

模型开发 · 基础设施

部署方式

查看项目说明

License

License 待确认

适合谁

• 需要将单 GPU 训练脚本扩展到多 GPU 或多主机、并希望以较少代码改动完成分布式训练的开发者和 AI 工程师。

核心能力

• 使用 MPI 和 NCCL，以较小的代码改动将单 GPU 训练脚本扩展到多 GPU 或多主机上运行。
• 将较小的 allreduce 操作批处理执行，使通信与计算交错进行，以改善运行表现。
• 记录 horovod 的活动时间线，用于分析运行性能。
• 通过单一命令行参数自动优化 Tensor Fusion 等参数。
• 允许在不同进程组中并发执行各自的不同集合通信操作。

限制与风险

• 安装时需要 CMake 以及特定版本的 g++ 或 Conda 包。
• 需要在现有的单 GPU 训练脚本中添加分布式优化器和初始化代码。
• 安装 MPI 和 NCCL 可能需要基础设施团队参与，带来额外的工作负担。

如何开始

• 安装难度为中等：需先安装 CMake 和 g++ 等编译依赖，再通过 pip install horovod 安装；随后在训练脚本中调用 hvd.init() 初始化 horovod，添加分布式优化器，最后通过 horovodrun 执行。

核验依据

• GitHub 项目简介: Distributed training framework for TensorFlow, Keras, PyTorch, and Apache MXNet.
• README: Horovod is a distributed deep learning training framework for TensorFlow, Keras, PyTorch, and Apache MXNet. The goal of Horovod is to make distributed deep learning fast and easy…
• README: The primary motivation for this project is to make it easy to take a single-GPU training script and successfully scale it to train across many GPUs in parallel.
• README: opt = hvd.DistributedOptimizer(opt)
• README: To run on CPUs: .. code-block:: bash $ pip install horovod To run on GPUs with NCCL: .. code-block:: bash $ HOROVOD_GPU_OPERATIONS=NCCL pip install horovod

内容核验时间：