Apache Airflow

定义

Apache Airflow 是 Airbnb 于 2014 年开发、2015 年开源的工作流编排平台，2019 年成为 Apache 顶级项目，用于以编程方式编写、调度和监控批处理数据管道。

原理

Airflow 的核心抽象是有向无环图（DAG）：用户用 Python 代码声明任务（Task）及其依赖关系，调度器（Scheduler）按时间表解析 DAG 并将就绪任务交给执行器（Executor）运行，支持本地、Celery、Kubernetes 等多种执行模式。丰富的 Operator 与 Provider 生态封装了对 Spark、Hive、各类云服务的调用；「配置即代码」使管道可版本化、可测试。2.x 引入了 TaskFlow API 与高可用调度器。

应用

Airflow 是数据工程领域最流行的调度工具，广泛用于 ETL 编排、数仓分层加工、机器学习流水线；各大云厂商均提供托管版本（如 AWS MWAA、Google Cloud Composer）。

优缺点

优点是灵活、生态庞大、社区活跃；缺点是偏重批调度、实例部署与升级较重，原生不擅长数据集级的事件驱动。