数据并行(Data Parallelism)

定义

数据并行(Data Parallelism)是分布式深度学习最基础的并行策略:每个计算设备(GPU)保存一份完整的模型副本,各自处理全局批量中的不同数据分片,反向传播后通过集合通信(通常是 AllReduce)对梯度求平均,再各自执行相同的参数更新,保持副本一致。

实现

PyTorch 的 DistributedDataParallel(DDP)是典型实现:梯度按桶(bucket)划分,在反向传播过程中与计算重叠地异步执行 AllReduce,通信底层依赖 NCCL。TensorFlow 的 MirroredStrategy、Horovod 等采用相同思想。

优缺点

• 优点:实现简单、对模型代码侵入小、扩展性好,适用于绝大多数训练任务。
• 缺点:每卡都要容纳完整模型与优化器状态,显存冗余大,单卡放不下的大模型无法直接使用;全局批量随卡数增大,可能影响收敛,需要配合学习率调整。

演进

针对显存冗余问题,ZeRO/FSDP 等「全分片数据并行」把参数、梯度、优化器状态也切分到各卡,按需聚合;超大模型训练则将数据并行与张量并行、流水线并行组合成混合并行(3D 并行)。