Flink

简介

Apache Flink是一个开源的分布式流处理框架,以「流优先」为设计理念,将批处理视为有界流的特例。它擅长低延迟、高吞吐的有状态计算,是实时数据处理领域的代表性引擎。

核心概念

• 流批一体:同一套 API 既能处理无界实时流,也能处理有界批数据。
• 状态管理:内置高效的状态后端,支持算子保存中间状态以应对复杂计算。
• 事件时间与水位线:基于事件发生时间处理乱序数据,Watermark 机制衡量数据进度。
• Checkpoint:周期性分布式快照,保障故障恢复时的精确一次语义。

原理

Flink 程序被编译为数据流图,由 JobManager 调度、TaskManager 执行。其管道式的真正流式处理,使数据逐条流转而非微批攒齐,因而延迟可低至毫秒级。

应用

Flink 广泛用于实时风控、实时数仓、监控告警、用户行为分析与 CEP 复杂事件处理。它与 Kafka 深度集成,常作为实时数据管道的核心计算层,支撑大型互联网企业的秒级数据响应。