梯度裁剪 (Gradient Clipping)

定义

梯度裁剪(Gradient Clipping)是一种稳定训练的技巧:在参数更新前检查梯度大小,若超过设定阈值则将其缩小,防止单次更新步幅过大破坏模型。

方式

常见做法有两种:按范数裁剪(clip by norm)计算所有梯度的整体 L2 范数,超过阈值时按比例整体缩放,方向不变,是主流做法;按值裁剪(clip by value)直接把每个分量截断到区间内,会改变梯度方向,较少用于大模型。

应用

梯度裁剪最早在循环神经网络训练中用于对抗梯度爆炸,如今是大语言模型训练的标准配置,常见阈值为 1.0。训练日志中的梯度范数曲线也是监控训练健康度的重要指标,梯度范数突增往往预示损失尖峰(loss spike)。

注意

裁剪阈值过小会拖慢收敛,过大则失去保护作用;在混合精度训练中需先对梯度做反缩放(unscale)再裁剪,顺序不能颠倒。