Google Borg

定义

Borg 是 Google 内部的大规模集群管理与作业调度系统,自 2000 年代初运行至今,支撑搜索、Gmail、地图等核心业务。2015 年 Google 发表论文《Large-scale cluster management at Google with Borg》,首次系统性公开其设计。

原理

一个 Borg 集群(cell)由逻辑上集中的 Borgmaster 与每台机器上的 Borglet 代理组成。用户以声明式配置(BCL)提交 Job,每个 Job 包含若干 Task,直接以进程形式运行在机器上并用 cgroups 等机制隔离。Borg 把在线服务(prod)与批处理(non-prod)负载混合部署在同一批机器上,通过资源回收与优先级抢占大幅提升利用率。

影响

Borg 是 Kubernetes 的直接前身:Kubernetes 由 Borg 相关工程师发起,Pod、标签选择器、声明式期望状态与控制器调和循环等核心概念均源自 Borg 及其实验性后继系统 Omega 的经验教训。cgroups 这一 Linux 内核特性最初也源于 Google 为 Borg 类系统做的贡献。