Kafka

简介

Apache Kafka是一个开源的分布式流处理平台,最初由 LinkedIn 开发。它以高吞吐、低延迟、可持久化的发布订阅消息系统著称,是现代实时数据管道与流式架构的核心枢纽。

核心概念

• Topic(主题):消息的逻辑分类,生产者写入、消费者订阅的单位。
• Partition(分区):主题被切分为多个分区以实现并行与扩展,分区内消息有序。
• Producer 与 Consumer:生产者发布消息,消费者按消费组订阅拉取。
• Offset(偏移量):标记消费者在分区中的读取位置,支持回溯重放。

原理

Kafka 将消息以追加方式持久化到磁盘日志,借助顺序写与零拷贝技术实现极高吞吐。分区多副本机制保证高可用,Leader 负责读写、Follower 同步备份,即便节点宕机数据也不丢失。

应用

Kafka 广泛用于日志收集、消息解耦、流量削峰、事件溯源与实时数仓。它常与 Flink、Spark Streaming 搭配,作为实时计算的数据源与缓冲层。Kafka Streams 与 Connect 进一步扩展了其流处理与数据集成能力。