流水线并行(Pipeline Parallelism)

定义

流水线并行(Pipeline Parallelism)是模型并行的一种形式:把神经网络按层顺序切分成若干阶段(Stage),分布到不同设备上,前一阶段的输出作为后一阶段的输入,多个微批次(Micro-batch)像工厂流水线一样在各阶段间接力执行,使设备尽量同时保持忙碌。

气泡问题

流水线启动与排空阶段总有设备空闲,称为「气泡」(Bubble)。气泡占比约与阶段数成正比、与微批次数成反比,因此需要足够多的微批次摊薄。经典调度方案包括:GPipe 的先全部前向再全部反向、PipeDream 与 Megatron-LM 采用的 1F1B(一前向一反向交替,显著降低激活显存),以及交错式(Interleaved)调度进一步压缩气泡。

优缺点

• 优点:阶段间只需传递激活值,通信量远小于张量并行,适合跨节点部署。
• 缺点:存在气泡损耗;各阶段计算量需精细均衡,否则最慢阶段拖累整体。

应用

千亿参数级大模型训练普遍把流水线并行与张量并行、数据并行组合使用,是 3D 并行的标准组件之一。