注意力机制 (Attention)

注意力机制（Attention Mechanism）是人工神经网络中一种模仿人类认知注意力的技术，通过为输入数据的不同部分动态分配权重，让模型把"注意力"集中在与当前任务最相关的信息上。

概述

人在阅读或观察时不会平均处理所有信息，而是会自动聚焦重点。注意力机制把这种能力引入神经网络：模型在处理某个位置的输入时，会计算它与其他位置内容的相关程度，相关性高的部分权重被放大，无关部分被削弱。哪些信息重要并非固定不变，而是完全取决于上下文，由模型在训练中自行学习。

这一思想最早在神经机器翻译中被提出，用于解决长句子翻译时信息丢失的问题。此后谷歌团队在论文《Attention Is All You Need》中提出完全基于注意力构建的 Transformer 架构，彻底摆脱了循环神经网络的顺序计算限制，成为如今 GPT、BERT 等大语言模型的共同基础。

主要特点

• 动态加权：权重随输入内容和上下文变化，而非固定参数，能灵活捕捉长距离依赖关系。
• 可端到端训练：注意力权重的计算过程可导，能直接通过梯度下降与整个网络一起优化，无需人工设计规则。
• 高度并行：自注意力（Self-Attention）可同时计算序列中所有位置之间的关系，非常适合 GPU 大规模并行训练。
• 一定的可解释性：通过可视化注意力权重，可以大致看出模型在"关注"输入的哪些部分。

典型应用

注意力机制广泛应用于机器翻译、文本生成、语音识别、图像识别与图文多模态等任务。ChatGPT、Claude 等大语言模型的核心组件多头自注意力（Multi-Head Self-Attention），正是这一机制的代表性实现。

常见问题

问：注意力机制和 Transformer 是什么关系？答：注意力机制是一种通用技术，Transformer 是完全以自注意力为核心构建的网络架构，可以理解为后者是前者最成功的应用。

问：注意力权重是人工设定的吗？答：不是。权重由模型根据输入实时计算得出，其计算方式在训练中通过梯度下降自动学习。

问：为什么大模型普遍采用注意力机制？答：它能有效建模长距离依赖，且计算高度并行，使得用海量数据训练超大规模模型成为可能。