Greenplum

简介

Greenplum 是一款开源的大规模并行处理(MPP)数据仓库,构建在 PostgreSQL 之上。它由 Greenplum 公司开发,后被 EMC 与 Pivotal 收购并于 2015 年开源。Greenplum 将多个 PostgreSQL 实例组织成一个分布式集群,专门用于 PB 级数据的分析处理。

原理

Greenplum 采用无共享的主从式 MPP 架构。

• 由一个 Master 节点负责接收查询、生成执行计划并协调任务,本身不存储用户数据。
• 多个 Segment 节点各自管理一部分数据,并行执行查询的各个片段。
• 数据按指定的分布键被打散到所有 Segment 上,使计算尽量本地化。
• 查询被切分后在所有节点同时运行,结果汇总返回,充分利用集群算力。

由于基于 PostgreSQL,它继承了成熟的 SQL 支持与丰富的生态扩展。

应用

Greenplum 适合大型企业的数据仓库、商业智能和数据分析场景,如金融风控、电信经营分析、零售数据挖掘等。它能对海量历史数据执行复杂的聚合、关联和统计分析,并支持机器学习与地理空间等扩展功能,是传统商业数据仓库的开源替代之一。