权重绑定 (Weight Tying)

权重绑定(Weight Tying)指在神经语言模型中,把输入端的词嵌入矩阵与输出端的softmax投影矩阵设为同一个(转置)矩阵,从而让两者共享参数。这一技巧最早在RNN语言模型上被系统研究,如今广泛用于Transformer类模型。

概述

语言模型通常包含两个巨大的矩阵:一个把词元映射为向量的嵌入矩阵,一个在输出层把隐藏向量映射回词表维度的投影矩阵。两者形状互为转置,规模都等于词表大小乘以隐藏维度。权重绑定让它们复用同一份参数,既省显存又省参数。

核心原理

• 参数共享:输出投影矩阵直接取嵌入矩阵的转置,而非独立学习。
• 语义一致:输入侧和输出侧对同一个词使用一致的向量表示,有助于泛化。
• 参数削减:对大词表模型可省下相当可观的参数,尤其在小模型中占比很高。
• 正则效果:共享约束等价于一种正则,常降低困惑度。

应用场景

权重绑定被用于GPT系列、许多开源大模型以及机器翻译模型中。在参数预算紧张的移动端或小模型上,它能在几乎不损失效果的前提下明显压缩体积。是否绑定通常作为模型配置项由训练者选择。

常见问题

问:权重绑定一定能提升效果吗?答:多数情况下能降低困惑度或持平,但在超大模型上收益变小,有时研究者会解绑以获得更灵活的表达。

问:绑定后嵌入维度和隐藏维度必须相等吗?答:直接绑定要求二者一致;若不一致,需加一层线性变换过渡,或采用部分绑定策略。