旋转位置编码 (RoPE)

定义

旋转位置编码(Rotary Position Embedding,RoPE)由苏剑林等人在 RoFormer 论文中提出。它把查询和键向量按维度两两分组视为复数,依据其绝对位置乘以对应角度的旋转矩阵,使注意力点积天然只依赖两个词之间的相对距离。

优点

RoPE 兼具绝对编码实现简单和相对编码泛化好的优点:无需额外参数,计算开销极小;点积随距离增大而自然衰减,符合语言的局部性;配合位置插值、NTK-aware 缩放、YaRN 等方法可较好地外推到更长上下文。

应用

Llama 系列、Qwen、DeepSeek、Mistral 等主流开源大模型均采用 RoPE 作为默认位置编码,它已成为事实上的行业标准,也是长上下文扩展研究的主要基础。