ALiBi 位置编码

ALiBi（Attention with Linear Biases）是一种通过在注意力分数中加入与距离成正比的线性偏置来表示位置关系的编码方法，无需任何显式位置嵌入，且具有出色的长度外推能力。

概述

ALiBi 由 Ofir Press 等人于二零二一年提出。传统位置编码通过向词元嵌入添加位置向量来注入顺序信息，但这类方法在推理序列长于训练长度时往往表现不佳。ALiBi 另辟蹊径，完全不修改词元嵌入，而是在计算注意力时对较远的位置施加更大的负向惩罚，天然地让模型偏好近距离信息。

核心原理

• 不引入任何可学习的位置嵌入向量，位置信息完全来自注意力偏置。
• 对每一对查询与键，按它们之间的距离减去一个线性递增的惩罚值。
• 不同注意力头使用不同斜率的惩罚，使模型能兼顾不同尺度的上下文。
• 由于惩罚随距离平滑增长，模型在更长序列上仍能保持稳定行为。

应用场景

ALiBi 的最大优势是长度外推，训练时用较短序列即可在推理时处理长得多的输入，因此被一些开源大模型采用以降低长上下文训练成本。它也适合对内存与实现简洁性有要求的场景，因为省去了位置嵌入表。

常见问题

问：ALiBi 为何擅长长度外推？答：因为它的位置信息是随距离平滑变化的线性惩罚，而非依赖训练中见过的具体位置索引，所以在更长序列上依然遵循同一规律，不会遇到未见位置的问题。

问：ALiBi 与旋转位置编码怎么选？答：两者各有优势。旋转位置编码在许多主流模型中表现优异且生态成熟，ALiBi 则以实现简单和外推能力见长，具体选择取决于任务与工程需求。