Lambda架构

定义

Lambda 架构是 Nathan Marz(Apache Storm 作者)提出的大数据处理架构,核心思想是用两条并行管道兼顾准确性与实时性:批处理层定期全量重算,速度层增量处理新数据,查询时合并两层结果。其思想在其著作《Big Data》中有系统阐述。

三层结构

• 批处理层(Batch Layer):保存不可变的原始主数据集,周期性全量计算出批视图,结果准确但延迟高;
• 速度层(Speed Layer):用流处理引擎实时计算批处理尚未覆盖的增量,结果近似但低延迟;
• 服务层(Serving Layer):对外提供查询,把批视图与实时视图合并返回。

优缺点

优点是容错性强,任何错误都可通过重算原始数据修正;缺点也很突出:同一业务逻辑要在批、流两套系统各写一遍,开发与运维成本翻倍。

影响

针对双份逻辑的痛点,Jay Kreps 提出了只保留流处理的 Kappa 架构;如今流批一体引擎(如 Flink)正是对这一矛盾的回应。