消费者组

定义

消费者组(Consumer Group)是 Kafka 等消息系统中的消费扩展机制:多个消费者以相同的组 ID 订阅同一主题,主题的分区在组内成员间分摊,每个分区同一时刻只被组内一个消费者消费,从而实现消费能力的水平扩展。

工作机制

组成员关系由协调者(Group Coordinator)管理,成员加入、退出或崩溃(心跳超时)都会触发再均衡(Rebalance),重新分配分区。每个组独立维护自己的消费位点(offset),Kafka 将其存储在内部主题 __consumer_offsets 中。

统一两种模型

消费者组让 Kafka 用一个机制统一了两种消息模型:同一组内分摊消费,等价于点对点队列;多个组各自完整消费一遍,等价于发布订阅广播。

实践要点

组内消费者数量超过分区数时多余成员空闲,因此分区数决定并行上限;频繁再均衡会造成消费停顿,可通过静态成员、增量协作再均衡等特性缓解。