DeepSpeed 训练框架

DeepSpeed 是由微软开发的开源深度学习优化库，专注于让大规模模型的训练更高效、更省显存，其核心的 ZeRO 系列技术极大降低了训练超大模型的硬件门槛。

概述

DeepSpeed 于二零二零年由微软发布，目标是解决大模型训练中显存不足与扩展困难的问题。随着模型参数量增长到数十亿乃至数千亿，单卡显存远不足以容纳模型、梯度与优化器状态。DeepSpeed 通过一系列显存与并行优化，使研究者能够在相对有限的集群上训练出规模庞大的模型。

核心特点

• ZeRO 显存优化把优化器状态、梯度与参数分片到多张卡上，消除数据并行中的冗余存储。
• 支持将参数与优化器状态卸载到内存甚至硬盘，进一步突破显存限制。
• 集成混合精度训练、梯度累积与梯度检查点等常用节省显存的手段。
• 提供三维并行能力，可组合数据并行、张量并行与流水线并行。

应用场景

DeepSpeed 被广泛用于大语言模型的预训练与微调，也是许多开源训练工具链的底层依赖。它尤其适合显存受限但希望训练更大模型的团队，以及需要在多机多卡上高效扩展的场景。

常见问题

问：DeepSpeed 与 ZeRO 是什么关系？答：ZeRO 是 DeepSpeed 提供的核心显存优化技术，分为多个阶段逐级分片；DeepSpeed 则是包含 ZeRO 在内的完整训练优化框架。

问：使用卸载会显著变慢吗？答：把状态卸载到内存或硬盘会引入额外数据搬运开销，因此以速度换取可训练规模。是否启用应根据显存紧张程度与吞吐要求权衡。