RMSNorm

定义

RMSNorm(Root Mean Square Normalization)是层归一化的简化形式,由 Zhang 与 Sennrich 于 2019 年提出。它省去减均值的中心化步骤,仅用特征向量的均方根对其缩放,再乘以可学习的增益参数。

原理

研究发现 LayerNorm 的收益主要来自缩放不变性而非中心化,因此去掉均值计算几乎不损失效果。RMSNorm 少一次求均值与减法,计算更快、数值实现更简单,在大规模训练中可带来可观的累积加速。

应用

Llama 系列、Qwen、Mistral、DeepSeek 等主流开源大模型普遍以 Pre-Norm 位置使用 RMSNorm,替代原始 Transformer 的 LayerNorm,它已成为当代解码器架构的默认归一化方案。