长上下文大模型

长上下文(Long Context)指大语言模型可一次性处理的 Token 长度更大(如数十万到百万级),能『读完整本书/代码库』。

概述

通过位置编码改进(如 RoPE 外推)、稀疏注意力等技术扩展,使长文档问答、代码库理解与 Agent 记忆成为可能。

特点

降低对外部检索的依赖,但更长窗口带来显存与注意力计算成本,需配套 KV Cache 优化。

• 超长窗口
• 技术：RoPE/稀疏注意力
• 用途：长文/代码库