apache/airflow

项目概览

工作流以代码定义、可版本化和可测试，并提供用于生产环境可视化监控的 Web 界面。

项目类型

AI 工作流 · 数据处理 · 基础设施

应用场景

文档办公

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要以代码编写、调度和监控工作流及数据管道的组织和团队。

核心能力

• 支持用户将编排任务的工作流（DAG）以代码形式编写，使其可维护、可版本化、可测试并支持协作。
• 遵循指定的依赖关系，在一组 worker 上执行已调度的任务。
• 提供丰富的用户界面，便于可视化生产环境中运行的管道、监控进度并排查问题。
• 提供丰富的命令行实用工具，可轻松对 DAG 执行复杂的手术式修改。
• 利用 Jinja 模板引擎，允许进行丰富的自定义和动态 DAG 生成。
• 包含丰富的内置算子，并可通过 provider 进行扩展以满足用户需求。

限制与风险

• 项目没有原生的 Windows 支持，用户必须使用 WSL2 或 Linux 容器。
• 该项目不是流处理解决方案。
• 如果没有约束文件，由于开放的依赖关系，pip 安装可能会失败或产生无法使用的安装结果。

如何开始

• 上手难度中等。安装需要管理依赖项和约束文件（需了解 Python pip 约束文件），且设置调度器和 worker 需要进行配置。

核验依据

• README: Apache Airflow (or simply Airflow) is a platform to programmatically author, schedule, and monitor workflows.
• README: When workflows are defined as code, they become more maintainable, versionable, testable, and collaborative.
• README: The rich user interface makes it easy to visualize pipelines running in production, monitor progress, and troubleshoot issues when needed.
• README: We know about around 500 organizations that are using Apache Airflow (but there are likely many more)
• README: Apache Airflow version life cycle:

内容核验时间：