Apache Samza

定义

Apache Samza 是 LinkedIn 开发并开源的分布式流处理框架,2013 年进入 Apache 孵化器,2015 年毕业。它与 Kafka 出自同一团队,设计上深度绑定 Kafka 作为输入输出和状态备份的载体。

设计特点

Samza 的作业按 Kafka 分区切分任务,早期依托 YARN 做资源调度与容错。它率先实践了大规模本地状态方案:每个任务把状态存在本地 RocksDB,并把变更写入 Kafka changelog 主题,故障时从 changelog 重建,避免了远程状态访问的网络开销。这一思路后来被 Kafka Streams 和 Flink 广泛借鉴。

特性

支持至少一次语义、高层 Streams API 与 SQL、批流统一 API,以及嵌入式部署(脱离 YARN 运行)。

现状

Samza 在 LinkedIn 内部长期支撑核心实时链路,但社区活跃度不及 Flink,业界新项目采用较少,其历史贡献主要在有状态流处理的工程范式上。