Apache NiFi

定义

Apache NiFi 是一款基于流程编程理念的数据流自动化工具，最初由美国国家安全局（NSA）内部开发（代号 Niagarafiles），2014 年通过技术转移计划开源并进入 Apache 孵化器，2015 年成为顶级项目。

原理

NiFi 的核心抽象是 FlowFile（数据单元，含内容与属性）、Processor（处理器，负责获取、路由、转换、写出数据）与 Connection（带背压的队列）。用户在 Web 画布上拖拽数百种内置处理器连接成数据流，修改即时生效，无需编译部署。其数据溯源（Data Provenance）功能记录每个 FlowFile 的完整流转轨迹，便于审计与回放；集群模式下各节点运行相同流程并由 ZooKeeper 协调。

应用

NiFi 适合异构系统间的数据搬运与轻量 ETL，如物联网数据接入、文件摆渡、跨网闸传输、数据库到 Kafka 的同步等，在政企与安全敏感行业尤为流行。

优缺点

优点是可视化程度高、溯源审计完善、协议适配广；缺点是重量级复杂转换与大规模聚合计算并非所长，版本化与多环境发布管理相对繁琐。