编码器-解码器架构

定义

编码器-解码器(Encoder-Decoder)是处理序列到序列任务的经典架构:编码器将输入序列压缩为上下文表示,解码器据此逐步生成输出序列。原始 Transformer 即为此形态,解码器通过交叉注意力读取编码器的输出。

特点

编码器使用双向注意力,充分理解整个输入;解码器使用因果注意力自回归生成,并在每层经交叉注意力对齐输入。这种结构天然适合输入与输出分离的任务,如机器翻译、摘要、语音识别(Whisper 即采用该架构)。

与仅解码器的比较

编码器-解码器对输入只编码一次,处理长输入短输出的任务效率高;但两套参数使工程复杂度更高,且在开放式生成和少样本泛化上不如统一的仅解码器架构,后者凭借更简单的规模化路径成为大语言模型的主流选择。