GELU 激活函数

GELU(Gaussian Error Linear Unit,高斯误差线性单元)是一种非线性激活函数,它用输入服从标准正态分布的累积概率来对输入进行加权门控。GELU是BERT、GPT等Transformer模型的常用激活函数。

概述

激活函数决定神经元如何非线性变换输入。ReLU在零点直接截断,较为生硬;GELU则给出一条平滑曲线:输入越大越可能被保留,越小越可能被抑制,门控比例正是该输入在标准正态分布下的累积概率。这种随机正则思想使其兼具平滑性与选择性。

核心特点

• 概率门控:按输入落在标准正态累积分布下的概率决定保留程度。
• 平滑可导:处处光滑,无ReLU那样的硬拐点,利于梯度传播。
• 允许负值:小的负输入不会被完全清零,保留少量信息。
• 近似实现:常用tanh或sigmoid形式近似,以加快计算。

应用场景

GELU是Transformer前馈层的主流激活函数,BERT、GPT系列及大量后续模型都采用它。在这些模型中,GELU相比ReLU通常带来更稳定的训练和略优的下游表现,已成为自然语言处理领域的默认选择之一。

常见问题

问:GELU和ReLU哪个更好?答:在Transformer场景下GELU通常略优且更平滑,但计算稍复杂;在很多卷积网络中ReLU仍因简单高效被沿用。

问:GELU一定要用精确公式吗?答:不必,常用tanh近似版本效果几乎相同且更快,许多框架默认提供近似实现。