竞争消费者模式(Competing Consumers)

竞争消费者模式(Competing Consumers Pattern)是一种消息处理设计模式：多个消费者实例同时监听同一个消息队列，彼此竞争地领取消息，每条消息只交给其中一个实例处理。生产者只管投递，处理能力则通过增减消费者实例数量水平伸缩。

概述

该模式收录于经典著作《企业集成模式》(Enterprise Integration Patterns，格雷戈尔·霍普与鲍比·伍尔夫著)，也是微软 Azure 架构中心整理的云设计模式之一。它与发布-订阅模式互补：发布-订阅让每个订阅者都收到消息副本，用于广播；竞争消费者让一组实例分摊同一批消息，用于扩容。RabbitMQ 的多消费者共享队列、Kafka 消费者组内按分区分配、SQS 的多实例拉取都是典型落地。

核心原理

• 点对点队列：消息进入队列后被恰好一个消费者领取，队列天然起到缓冲与调度作用。
• 拉取与确认：消费者处理成功后确认消息，处理失败或超时则消息重新可见，由其他实例重试。
• 水平扩展：吞吐不足时直接增加消费者实例，无需改动生产者。
• 死信队列：多次重试仍失败的消息转入死信队列，避免毒消息反复阻塞。

应用场景

竞争消费者适合可异步、可并行、量大的任务：订单后续处理、邮件与短信发送、图片转码、日志入库等。配合队列长度指标还能实现自动扩缩容，队列积压时自动加实例，空闲时缩容省钱，这正是削峰填谷的经典实现。

常见问题

问:为什么要求消息处理幂等？答:因为队列通常保证至少一次投递，网络抖动或消费者崩溃会导致同一消息被重复处理;只有处理逻辑幂等(重复执行结果不变)，系统才是正确的。

问:消息顺序还能保证吗？答:多个实例并行消费必然打乱全局顺序。若业务要求某类消息有序，可按业务键把消息路由到固定分区，仅在分区内保持顺序，如 Kafka 的做法。