管道-过滤器模式(Pipes and Filters)

定义

管道-过滤器(Pipes and Filters)是一种数据流架构模式:把整体处理任务拆分为一系列独立的过滤器(Filter),每个过滤器接收输入、加工后输出,过滤器之间用管道(Pipe)连接传递数据。

原理

每个过滤器只关心自己的转换逻辑,不知道上下游是谁;管道负责缓冲与传输。过滤器可以增量处理数据,从而支持流式与并行执行。

应用

Unix 命令行管道(如 cat | grep | sort)、编译器的词法分析-语法分析-代码生成流水线、ETL 数据处理、流媒体处理框架都采用此模式。

优缺点

优点是组件可复用、可重组、易并行;缺点是不适合交互式场景,统一的数据格式转换有开销,错误处理与事务跨过滤器时较难实现。