Kafka Streams

定义

Kafka Streams 是 Apache Kafka 项目自带的流处理库,2016 年随 Kafka 0.10 发布。它以普通 Java 库的形式嵌入应用程序,读写 Kafka 主题即可完成流计算,不需要 Flink、Storm 那样的独立计算集群。

核心抽象

• KStream:record 流,每条记录是独立事件;
• KTable:变更日志流的表视图,同键新值覆盖旧值;
• 二者可互相转换,支持 map、filter、join、windowed aggregation 等算子。

状态与容错

有状态算子的本地状态默认存于 RocksDB,并通过 Kafka 的 changelog 主题备份,实例故障后可从 changelog 恢复;扩缩容依赖消费者组机制自动重分配分区。配合 Kafka 事务可实现端到端精确一次语义。

优缺点

优点是部署简单(应用即计算节点)、与 Kafka 生态无缝;局限是数据源和结果只能是 Kafka,复杂批流混合或大规模 shuffle 场景不如专业流引擎。