Apache Kafka(分布式流处理平台)

Apache Kafka 是一个开源的分布式事件流平台,用于以高吞吐、低延迟的方式发布、订阅、存储和处理大规模消息流。它最初由领英公司开发,2011 年开源并交由 Apache 软件基金会维护,如今是实时数据基础设施的重要组成部分。

概述

Kafka 的核心抽象是持久化的、可分区的提交日志。生产者把消息追加写入主题,消费者按顺序读取,消息在磁盘上保留一段时间而非读取后立即删除。这种以日志为中心的设计既能支撑消息队列的解耦,又能作为可回放的事件存储,支持多个消费者独立消费同一数据。

核心概念

• 主题与分区:主题是消息的逻辑分类,分区实现并行与水平扩展。
• 生产者与消费者:生产者写入消息,消费者按偏移量读取,可组成消费者组分担负载。
• 持久化与副本:消息落盘并在多节点间复制,保证可靠性与容错。
• 流处理:配套的流处理接口可对消息流进行过滤、聚合和转换。

应用场景

Kafka 广泛用于构建实时数据管道、连接各类系统进行数据集成,以及做日志与指标的集中收集。它也是流式处理与事件驱动架构的中枢,支撑实时分析、监控告警和微服务间的异步通信。

常见问题

问:Kafka 和传统消息队列有何不同?答:传统队列的消息常在消费后删除,Kafka 则把消息持久化为可回放的日志,允许多个消费者独立读取历史数据,更适合高吞吐的数据流与事件溯源。

问:Kafka 保证消息不丢吗?答:通过多副本复制、合理的确认机制和消费位点管理,Kafka 可实现很高的可靠性,但需正确配置副本数与确认级别,并理解不同一致性权衡。