残差连接

定义

残差连接(Residual Connection)由何恺明等人在 ResNet 中提出,做法是让网络子层学习输入的「残差」,输出为 F(x)+x,即在子层输出上直接加回原始输入,形成一条恒等捷径。

原理

恒等路径让梯度可以无衰减地回传到浅层,缓解深层网络的梯度消失与退化问题;从优化角度看,学习残差比学习完整映射更容易。这使得网络深度从几十层跃升至上百层成为可能。

在 Transformer 中的作用

Transformer 的每个注意力子层和前馈子层外都包着残差连接与归一化。没有残差,几十层的 Transformer 几乎无法训练;残差流(residual stream)也成为机制可解释性研究中分析信息流动的核心视角。