Apache Storm

定义

Apache Storm 是一个分布式实时计算框架,由 Nathan Marz 在 BackType 公司开发,2011 年随公司被 Twitter 收购后开源,曾被称为实时领域的 Hadoop,2014 年成为 Apache 顶级项目。

模型

Storm 的计算任务组织为拓扑(Topology):Spout 是数据源,Bolt 是处理单元,元组(Tuple)在两者构成的有向图中流动。集群由 Nimbus(主控)、Supervisor(工作节点)组成,早期依赖 ZooKeeper 协调。

可靠性

Storm 通过记录级别的 ack 机制跟踪每个元组的处理树,失败即从 Spout 重放,提供至少一次语义;Trident 高层 API 可在其上实现精确一次的状态更新。

地位与现状

Storm 开创了逐条处理(record-at-a-time)的低延迟流计算范式,启发了后续大量系统。随着 Flink、Spark 等兴起,其使用逐渐减少,Twitter 内部也以自研的 Heron 取代了它,但其历史地位公认重要。