YARN

定义

YARN（Yet Another Resource Negotiator）是 Hadoop 2.0（2013 年发布）引入的集群资源管理系统，将第一代 MapReduce 中耦合的资源管理与作业调度职能剥离，使 Hadoop 集群成为可运行多种计算框架的通用平台。

原理

YARN 由三类角色协作：全局的 ResourceManager 负责整个集群的资源仲裁与调度；每台机器上的 NodeManager 管理本机资源并启动容器（Container）；每个应用有自己的 ApplicationMaster，向 RM 申请资源并在容器中调度自身任务。调度器支持容量调度（Capacity Scheduler）与公平调度（Fair Scheduler），以队列实现多租户资源隔离与弹性共享。

应用

MapReduce、Spark、Flink、Tez、Hive 等引擎都可运行在 YARN 上，它长期是企业 Hadoop 集群的统一资源底座。近年新建平台趋向以 Kubernetes 取代 YARN 承担该角色。

优缺点

优点是成熟稳定、多租户队列管理精细、对大数据作业调度优化充分；缺点是主要面向大数据负载，容器化与在线服务混部能力不及 Kubernetes。