Spark

简介

Apache Spark是一个开源的统一分布式计算引擎,以内存计算为核心,显著提升了大规模数据处理的速度。相比 MapReduce 将中间结果落盘,Spark 把数据缓存在内存中迭代,迭代类任务可快上数十倍。

核心概念

• RDD(弹性分布式数据集):Spark 的底层抽象,代表可并行操作、可容错的分布式数据集合。
• DAG(有向无环图):Spark 将一系列转换操作组织成执行计划,优化任务调度。
• 惰性求值:转换操作不立即执行,直到遇到行动操作才触发真正计算。

生态组件

Spark 提供统一的多场景能力:Spark SQL 处理结构化数据与数仓查询,Spark Streaming 与 Structured Streaming 支持流式计算,MLlib 提供机器学习算法,GraphX 用于图计算。

应用

Spark 广泛用于 ETL、交互式数据分析、实时计算与大规模机器学习训练。它可运行在 YARN、Mesos、Kubernetes 之上,并读写 HDFS、Hive、Kafka 等多种数据源,已成为企业大数据平台的主流计算引擎。