流式计算 Stream Processing

简介

流式计算是一种对持续不断产生的数据流进行实时或近实时处理的计算范式。与批处理先攒齐数据再统一计算不同,流式计算让数据一到达就被即时处理,从而实现秒级乃至毫秒级的低延迟响应。

核心概念

• 无界数据流:数据源源不断、没有明确终点,需持续处理。
• 窗口(Window):将无限流按时间或数量切分为有限片段进行聚合,如滚动窗口、滑动窗口。
• 事件时间:以事件实际发生的时间为基准处理,应对数据乱序与延迟。
• 状态与容错:维护中间计算状态,并通过快照机制保证故障恢复后结果准确。

处理语义

流式系统通常讨论三种交付语义:至多一次、至少一次与精确一次。其中精确一次保证每条数据对结果恰好生效一次,是高质量实时计算的追求目标。

应用与生态

流式计算广泛用于实时风控、实时推荐、监控告警、实时大屏与物联网数据处理。代表性框架包括 Apache Flink、Spark Streaming、Kafka Streams 与 Storm,通常与 Kafka 等消息队列配合,构成端到端的实时数据处理链路。