AI 幻觉(Hallucination)指大语言模型等生成式 AI 一本正经地编造出看似合理但实际错误或不存在的内容,如虚构文献、捏造数据。了解 AI 幻觉的成因与应对方法,是安全使用 ChatGPT、Claude 等 AI 工具的基础。

| 类型 | 人工智能术语 |
| 英文名 | Hallucination / AI Hallucination |
| 所属领域 | 生成式 AI、大语言模型 |
| 常见场景 | ChatGPT、Claude 等聊天与内容生成 |
| 主要对策 | RAG 检索增强、人工核验、提示词约束 |
AI 幻觉(英文 Hallucination)是指生成式人工智能(尤其是大语言模型)在回答中输出看似流畅可信、实则与事实不符或凭空捏造的内容的现象。
大语言模型的本质是根据海量文本学到的统计规律,逐字预测「下一个最可能的词」,而不是从数据库中检索标准答案。当训练数据中缺少相关知识、问题超出模型能力范围,或提问方式带有误导时,模型仍会努力生成一段语法通顺、语气自信的回答——这段回答可能是编造的,这就是幻觉。
典型的幻觉包括:虚构不存在的论文、书籍或法律条文,捏造统计数字和引用来源,编造 API 接口或函数用法,把不同人物、事件的信息张冠李戴等。由于幻觉内容往往表述得非常肯定,普通用户很难一眼识破,这也是 AI 落地医疗、法律、金融等严肃场景时最受关注的风险之一。
需要注意的是,幻觉并非某一款产品的缺陷,而是当前所有生成式模型(包括 ChatGPT、Claude、Gemini 以及各类国产大模型)都存在的共性问题,只是程度不同。
问:AI 幻觉和「AI 撒谎」是一回事吗?答:不是。撒谎意味着明知真相却故意隐瞒,而幻觉是模型并不「知道」自己在出错,只是按概率生成了错误内容,没有主观欺骗意图。
问:为什么 AI 有时连简单事实也会答错?答:模型不存储精确的事实数据库,而是压缩了训练语料中的统计模式。当相关信息在语料中稀少、矛盾或过时,生成结果就可能失真。
问:联网搜索能彻底解决幻觉吗?答:不能彻底解决,但能明显缓解。联网或 RAG 提供了真实依据,可模型仍可能误读、拼接来源,关键场景仍需人工核查。

| 类型 | 人工智能术语 |
| 英文名 | Hallucination / AI Hallucination |
| 所属领域 | 生成式 AI、大语言模型 |
| 常见场景 | ChatGPT、Claude 等聊天与内容生成 |
| 主要对策 | RAG 检索增强、人工核验、提示词约束 |
登录 后参与讨论
暂无讨论,来发表第一条评论吧