标签平滑 (Label Smoothing)

定义

标签平滑(Label Smoothing)是一种正则化技巧:训练分类模型时,不使用非零即一的 one-hot 硬标签,而是把正确类别的目标概率略微调低(如 0.9),将剩余概率均匀分配给其他类别,再计算交叉熵损失。

原理

硬标签会驱使模型把正确类的 logit 推向无穷大,导致过度自信和过拟合。平滑后的软目标限制了 logit 差距的无限扩大,使输出分布更接近真实的不确定性,起到正则化与校准置信度的作用。该技巧在 Inception-v3 论文中提出,并被原始 Transformer 论文采用(平滑系数 0.1)。

应用

广泛用于图像分类与机器翻译训练;在机器翻译中虽会略微提高困惑度,却往往改善 BLEU 分数。

注意

标签平滑会改变输出概率的含义,有研究指出它可能损害知识蒸馏的效果(教师输出的类间相似信息被抹平);在语言模型预训练中通常不使用,因为下一个词本身就存在多种合理选择。