argoproj/argo-workflows

项目概览

argo-workflows 是一个开源的容器原生工作流引擎，运行于 Kubernetes 之上，用于编排并行任务并管理任务间的依赖关系。用户可以将机器学习或数据处理等计算密集型作业建模为多步骤工作流或 DAG，每个步骤以容器方式执行。

项目类型

AI 工作流 · 模型开发 · 基础设施

应用场景

数据分析

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在 Kubernetes 上编排并行作业并管理任务间依赖的运维团队、开发者和数据团队。

核心能力

• 支持以任务序列或 DAG（有向无环图）方式建模多步骤工作流，每个步骤以容器形式运行。
• 提供 UI 用于可视化和管理 Workflows。
• 支持来自 S3、Artifactory、Azure Blob Storage、HTTP、Git、GCS、raw 以及插件的制品。
• 提供包含 REST API（HTTP 和 gRPC）及 CLI 的服务端接口。
• 支持使用 cron 调度工作流。

限制与风险

• 部署和运行需要一个 Kubernetes 集群，不适用于没有 Kubernetes 环境的场景。

如何开始

• 部署难度较高，主要原因在于需要一个 Kubernetes 集群进行部署；用户需要具备编码能力来定义工作流。

核验依据

• GitHub 项目简介: Workflow Engine for Kubernetes
• README: Argo Workflows is an open source container-native workflow engine for orchestrating parallel jobs on Kubernetes. Argo Workflows is implemented as a Kubernetes CRD (Custom Resource…
• README: * [Machine Learning pipelines](https://argo-workflows.readthedocs.io/en/latest/use-cases/machine-learning/) * [Data and batch processing](https://argo-workflows.readthedocs.io/en/…
• README: Argo Workflows is the most popular workflow execution engine for Kubernetes.
• README: Designed from the ground up for containers without the overhead and limitations of legacy VM and server-based environments.

内容核验时间：