注意力机制（Attention）

注意力机制（Attention Mechanism）是人工神经网络中一种模仿人类认知注意力的技术，通过给输入数据的不同部分动态分配权重，让模型把有限的计算资源集中在与当前任务最相关的信息上。

概述

人在阅读一句话或观察一张图片时，并不会平均分配注意力，而是会自然聚焦在关键词或关键区域上。注意力机制把这种能力搬进了神经网络：模型为输入的每个部分计算一个重要性得分，得分高的部分权重被放大，得分低的部分被抑制。哪些内容更重要并不是写死的，而是由上下文动态决定——同一个词在不同句子里获得的关注度可能完全不同。

注意力机制最早在机器翻译等序列任务中崭露头角，用来解决长句子中信息丢失的问题。此后，以「自注意力（Self-Attention）」为核心的 Transformer 架构将其推向主流，如今 ChatGPT、Claude 等大语言模型，以及许多图像、语音模型，底层都依赖注意力机制。整套权重计算过程是可微分的，因此可以和网络其他部分一起，通过梯度下降端到端训练，无需人工规则。

核心特点

• 动态加权：权重随输入和上下文实时变化，而不是固定参数，表达能力更强。
• 捕捉长距离依赖：序列中相距很远的两个词也能直接建立联系，缓解了传统循环网络「记不住前文」的问题。
• 并行计算友好：自注意力可以同时处理整个序列，非常适合 GPU 并行加速，这是大模型得以做大的重要原因。
• 一定的可解释性：观察注意力权重的分布，可以大致看出模型在「关注」输入的哪些部分。

常见变体

常见形式包括自注意力（序列内部元素相互关注）、交叉注意力（一个序列关注另一个序列，如译文关注原文）和多头注意力（多组注意力并行、从不同角度提取信息）。由于标准注意力的计算量随序列长度平方增长，业界还发展出稀疏注意力、线性注意力等高效变体，用于支持更长的上下文窗口。

常见问题

问：注意力机制和 Transformer 是什么关系？答：注意力机制是一种通用技术，Transformer 是完全围绕自注意力构建的一种网络架构。可以说 Transformer 是注意力机制最成功的应用，但注意力也可以嵌入其他类型的网络中使用。

问：注意力机制需要单独训练吗？答：不需要。它的权重计算是可微分的，会随整个网络一起通过梯度下降训练，模型在学习任务的过程中自动学会「该关注什么」。

问：为什么大模型的长上下文和注意力有关？答：标准注意力要计算序列中所有位置两两之间的关联，序列越长开销增长越快，因此上下文窗口的长度很大程度上受注意力计算效率的制约，这也是各类高效注意力变体不断出现的原因。