Apache Pulsar

定义

Apache Pulsar 是由雅虎(Yahoo)开发并于 2016 年开源的分布式消息与流处理平台,2018 年成为 Apache 顶级项目。它同时支持消息队列和发布订阅两种消费模型。

架构特点

Pulsar 最大的特色是存储与计算分离:无状态的 Broker 层负责消息路由,持久化则交给独立的 Apache BookKeeper 集群。这种分层设计使扩容、缩容和故障恢复无需迁移数据。此外它原生支持多租户、跨地域复制和分层存储(将冷数据卸载到对象存储)。

与 Kafka 的比较

相比 Kafka 的分区副本模型,Pulsar 的分片(Segment)存储更细粒度,单集群可支撑百万级 Topic;订阅模式也更灵活,提供独占、共享、灾备等多种类型。代价是组件更多、运维复杂度更高。

应用

Pulsar 被用于消息中间件、事件流、轻量函数计算(Pulsar Functions)等场景,其商业化公司为 StreamNative。