Apache DolphinScheduler

定义

Apache DolphinScheduler 是一款分布式、可视化的大数据工作流任务调度平台，2019 年由易观等中国团队开源（原名 EasyScheduler），2021 年毕业为 Apache 顶级项目。

原理

它采用去中心化的多 Master 多 Worker 架构：Master 负责 DAG 切分与任务派发，Worker 执行任务，注册中心（ZooKeeper 等）实现节点发现与容错，任一 Master 宕机后任务可自动接管。用户主要通过 Web 界面以拖拽方式编排工作流，内置 Shell、SQL、Spark、Flink、DataX、Python 等数十种任务类型，支持补数、依赖、超时告警、多租户与资源中心等企业级功能，也提供 Python API（PyDolphinScheduler）以代码定义工作流。

应用

DolphinScheduler 在国内数仓与大数据平台中被广泛用作 Airflow 的替代品，适合偏好界面化运维、任务种类繁杂的团队。

优缺点

优点是可视化门槛低、高可用架构完善、对国产生态支持好；缺点是代码化工作流能力与国际社区生态弱于 Airflow。