稀疏注意力 (Sparse Attention)

稀疏注意力（Sparse Attention）是一类改进的注意力机制，通过限制每个词元只与部分位置计算注意力，把标准自注意力随序列长度平方增长的计算与显存开销显著降低。

概述

标准 Transformer 的自注意力需要计算所有词元两两之间的关联，计算量与序列长度的平方成正比。当处理数千乃至数万词元的长序列时，这一开销变得难以承受。稀疏注意力的思路是：并非所有词元对都同等重要，只需保留有意义的一部分连接，即可在大幅节省资源的同时保持接近全注意力的效果。

核心特点

• 采用固定或可学习的稀疏模式，如局部窗口、跨步间隔或随机连接。
• 常引入少量全局词元，让它们与序列中所有位置交互以汇聚全局信息。
• 把复杂度从平方级降为线性或近线性，显著扩展可处理的序列长度。
• 不同稀疏模式可组合使用，在效率与表达能力之间取得平衡。

应用场景

稀疏注意力被用于长文档处理、基因序列建模、长音频与高分辨率图像等需要长序列的任务。滑动窗口注意力、块稀疏注意力等具体实现已被集成到多种长上下文模型与高效推理内核中。

常见问题

问：稀疏注意力会损失效果吗？答：设计合理的稀疏模式在多数任务上能接近全注意力的表现，但若稀疏过度或模式与任务不匹配，可能丢失关键的远距离依赖，需要权衡。

问：稀疏注意力与线性注意力是一回事吗？答：不是。稀疏注意力仍计算精确的注意力分数，只是减少参与计算的词元对；线性注意力则通过改写注意力公式来避免显式构造注意力矩阵，二者思路不同。