混合精度训练

定义

混合精度训练(Mixed Precision Training)是在神经网络训练中混合使用低精度(FP16、BF16 等)与单精度(FP32)浮点格式的方法:大部分前向与反向计算用低精度执行,权重主副本、梯度累加等对数值敏感的环节保留 FP32。NVIDIA 与百度研究者于 2017 年发表的论文确立了这一方法。

关键技术

• 损失缩放(Loss Scaling):FP16 动态范围小,梯度易下溢;将损失乘以缩放因子放大梯度,更新前再缩回,动态缩放可自动调整因子。
• FP32 主权重:优化器以 FP32 保存并更新权重,避免小更新量被舍入吞没。
• BF16:指数位与 FP32 相同,动态范围大,通常无需损失缩放,已成大模型训练主流。

收益

低精度使显存占用近乎减半、允许更大批量,并能利用 Tensor Core 等专用单元获得成倍吞吐提升。

现状

PyTorch 的 AMP(自动混合精度)等框架功能已使其成为默认实践;训练精度进一步向 FP8 演进,推理则普遍使用 INT8/INT4 量化。