上下文窗口 (Context Window)

定义

上下文窗口(Context Window)是指语言模型在单次推理中所能接纳和处理的最大 Token 数量,涵盖输入提示与生成输出的总和。它界定了模型在一次交互中可「看见」的信息边界,是衡量模型长文本处理能力的核心指标之一。窗口大小通常以 Token 数表示,从早期的数千扩展至如今的数十万乃至上百万。[1]

原理

上下文窗口的限制根源于 Transformer 架构的自注意力机制。标准自注意力需计算序列中每个 Token 与其余所有 Token 的关联,其计算与显存开销随序列长度呈平方级增长,使得无限延长窗口在算力上不可行。为突破这一瓶颈,研究者提出了多种技术:旋转位置编码(RoPE)及其插值外推改善长距离位置建模;稀疏注意力、滑动窗口注意力降低计算复杂度;FlashAttention 优化显存访问;以及检索增强等外部记忆机制扩展可用信息。

特点

更大的上下文窗口允许模型一次性处理长篇文档、多轮对话历史或大型代码库,提升任务连贯性与信息整合能力。然而长窗口也带来挑战:推理成本与延迟随长度上升,模型可能出现「中间遗忘」现象,即对位于上下文中部的信息检索能力下降(俗称「大海捞针」难题)。因此窗口容量大并不等同于有效利用率高。

应用

大上下文窗口在长文档摘要、法律合同审阅、整库代码分析、长程多轮对话与检索增强生成等场景中价值显著。实际应用中,需结合上下文压缩、关键信息前置、分块处理与检索召回等策略,在窗口预算内最大化信息密度与模型的有效注意力。