SwiGLU 激活函数

定义

SwiGLU 是门控线性单元(GLU)家族的一种变体,由 Noam Shazeer 在论文《GLU Variants Improve Transformer》中提出。它将前馈网络的输入经两条并行线性变换,一条经 Swish(SiLU)激活后作为门控,与另一条逐元素相乘,再投影回原维度。

原理

相比 ReLU 或 GELU 的单路前馈,门控结构让网络可以动态控制信息通过的比例,表达能力更强。为保持参数量与标准 FFN 相当,采用 SwiGLU 时隐藏层维度通常取 8/3 倍模型维度而非 4 倍。

应用

PaLM、Llama、Qwen、DeepSeek 等主流大模型的前馈层均采用 SwiGLU,它与 RMSNorm、RoPE 一起构成了当代解码器架构区别于原始 Transformer 的三大标配改动。