随机失活(Dropout)

随机失活(Dropout)是由杰弗里·辛顿等人提出的神经网络正则化方法。它在训练过程中以一定概率随机地将部分神经元的输出置零,使网络无法过度依赖某些特定神经元,从而学习到更加分散和鲁棒的特征表示,有效缓解过拟合。

概述

大型神经网络参数众多,容易记住训练数据中的噪声而泛化能力不足。随机失活的思想是在每次前向传播时随机屏蔽一部分神经元,相当于每次训练一个结构不同的子网络。最终的模型可近似看作对指数级数量的子网络进行了隐式集成,因而具有更强的泛化能力。

核心原理

• 训练阶段:对指定层的每个神经元,以丢弃概率将其输出临时置零,只用保留下来的神经元前向与反向传播。
• 每个小批量都独立随机采样被丢弃的神经元,相当于训练不同的子网络。
• 推理阶段:不再丢弃,启用全部神经元,并按保留概率缩放输出以匹配训练时的期望值。
• 常用的反向缩放实现把缩放放在训练阶段,使推理时无需额外调整。
• 丢弃概率是超参数,过高会欠拟合,过低则正则化不足。

应用场景

随机失活广泛用于全连接层与循环网络中,尤其在训练数据有限、模型容量偏大时能显著提升泛化表现。它在图像识别、语音识别、自然语言处理等任务中被普遍采用,并衍生出针对卷积特征图和注意力权重的多种变体,如空间失活等。

常见问题

问:随机失活为什么等价于集成?答:每次随机丢弃产生一个不同的子网络,训练过程相当于同时优化大量共享参数的子网络,推理时的缩放近似对这些子网络的预测取平均,因而具有集成效果。

问:它和批归一化能一起用吗?答:两者可结合但需谨慎,二者对方差的影响可能相互干扰,实践中常调整使用顺序或在含批归一化的层减少失活强度以避免冲突。