RAG（检索增强生成）

为什么需要 RAG

LLM 的知识固化在训练数据里，有两个关键限制：一是知识截止日期（GPT-4 训练数据到 2023 年底），无法回答最新事件；二是对于私有领域知识（公司内部文档、个人笔记），模型完全不知道，胡说八道（幻觉）的概率极高。

RAG 的解决思路：把外部知识库变成向量数据库，用户提问时先在库里检索最相关的段落，拼接到提示词里作为「参考资料」，让 LLM 基于这些资料回答。相比直接问 LLM，RAG 的答案可以追溯来源，幻觉率明显下降。[1]

RAG 的工程细节与进化

一个生产级 RAG 系统远比「检索 + 生成」复杂：

• 分块策略：文档如何切片影响检索质量。按固定字数切、按段落切、按语义切（用 embedding 相似度决定边界），各有适用场景。
• 混合检索：纯向量检索（语义相似）和 BM25 关键词检索（精确匹配）结合，通常比单一方法更好，RRF（倒数排名融合）是常用的结果合并算法。
• 重排序（Reranking）：粗检索出 50 个候选，再用 Cross-Encoder 精排，取 top-5 送给 LLM，平衡效率和精度。

随着 GPT-4 Turbo 128K、Gemini 1.5 Pro 百万 token 上下文的出现，有人质疑「长上下文是否会替代 RAG」。实测结论：超长上下文确实能在文档内找到信息（Needle in a Haystack 测试），但成本高、延迟大，RAG 在大规模知识库（百万文档）场景仍然不可替代。