幻觉 (Hallucination)

定义

幻觉(Hallucination)是指大语言模型生成的内容在表面上流畅、自信且看似合理,实质上却与客观事实相悖、与给定上下文矛盾,或凭空捏造了不存在的信息的现象。它是当前生成式 AI 在可靠性方面最受关注的缺陷之一,可分为事实性幻觉(违背真实世界知识)与忠实性幻觉(偏离输入指令或上下文)两大类。[1]

原理

幻觉的根源在于语言模型的本质:它是基于概率的下一 Token 预测器,优化目标是生成流畅、统计上可能的文本序列,而非检索或验证事实。模型并不具备真正的真假判别机制,其「知识」以参数化形式隐含编码,容易出现记忆模糊、知识过时或张冠李戴。训练数据中的噪声与偏差、解码时的随机采样、过度泛化,以及为迎合用户而「自圆其说」的倾向,均会诱发幻觉。此外,模型在超出训练分布或知识边界的问题上,仍倾向于给出自信的回答而非承认无知。

挑战

幻觉难以根除,因为它与模型的生成创造力同源。检测幻觉需要外部事实核验或不确定性估计,但模型的「自信度」往往与正确性不匹配。在医疗、法律、金融等高风险领域,幻觉可能造成严重后果,这构成了大模型可信落地的主要障碍。

应用与缓解

业界发展出多种缓解策略:检索增强生成(RAG)引入外部权威知识源为生成提供事实依据;思维链与自我一致性提升推理可靠性;事后核验与引用溯源增强可验证性;通过 RLHF 训练模型在不确定时坦诚承认局限。尽管如此,用户在使用生成内容时仍应保持审慎,对关键事实进行独立核实。