Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

AI 聊天机器人为什么会产生幻觉?

Conceptual editorial artwork: AI 聊天机器人为什么会产生幻觉?

AI 聊天机器人可以在几秒钟内回答问题、总结文档、起草电子邮件,并解释复杂话题。但它们也可能给出看似自信、却错误、缺乏依据或完全编造的答案。这个问题通常被称为 AI“幻觉”。

那么,AI 聊天机器人为什么会产生幻觉?简短的回答是:大型语言模型的设计目标是生成看起来合理的文本,而不是直接对照现实核验每一项说法。当模型缺乏足够上下文、面对含糊的提示、依赖不完整或过时的信息,或者因给出答案而非承认不确定性而受到奖励时,就可能出现幻觉。

幻觉并不是一个由单一原因导致的单一漏洞。它是生成式 AI 系统已知的可靠性局限,必须加以管理,尤其是在 AI 被用于商业、法律、医疗、学术或面向公众的工作时。

AI 聊天机器人产生幻觉是什么意思?

AI 聊天机器人的幻觉,是指一种听起来合理但其实错误、误导、缺乏依据或编造出来的回应。聊天机器人可能会虚构细节、误陈事实、引用并不存在的来源,或以不准确的方式拼接真实信息。

“幻觉”一词被广泛使用,但如果它让人以为系统是在有意撒谎,就可能产生误导。更稳妥的理解方式是:模型正在生成流畅的语言,而这些语言未必建立在经过核验的事实之上。

美国国家标准与技术研究院将这类问题称为生成式 AI 的“虚构”:看似合理但错误的生成内容,应被视为 AI 系统中的风险管理问题。NIST 的《人工智能风险管理框架生成式人工智能概况》将这些失误界定为组织应当识别、衡量和管理的风险,而不是罕见的一次性故障。

AI 聊天机器人为什么会产生幻觉?

AI 聊天机器人产生幻觉有几个相互重叠的原因。最重要的一点是,语言模型生成回应的方式,是基于训练期间学到的模式来预测可能的词语序列。这可以产生有用且连贯的答案,但连贯并不等于正确。

聊天机器人可能在以下情况下产生幻觉:

  • 用户的问题含糊或有歧义。
  • 模型没有足够的相关上下文。
  • 所需信息在训练数据中缺失、不完整或已经过时。
  • 即使事实并不确定,提示也要求给出一个具体答案。
  • 系统被优化为生成听起来有帮助的回应,而不是说“我不知道”。
  • 检索到的文档或网页结果不相关、不完整、过时,或被误读。
  • 模型以一种看似合乎逻辑但事实错误的方式组合信息片段。

这就是为什么幻觉常常出现在细节至关重要的领域:引文、日期、产品政策、法律参考、医学解释、金融信息、姓名、引语和技术规格。

训练和评估可能奖励猜测

AI 聊天机器人产生幻觉的一个重要原因是,常见的训练和评估设置可能会奖励模型去猜测,而不是承认不确定性。

OpenAI 的研究人员认为,语言模型之所以会产生幻觉,部分原因可能在于许多评估类似考试:它们奖励正确答案,却没有充分奖励经过校准的不确定性。在 OpenAI 关于语言模型为什么会产生幻觉,研究人员描述了评估激励如何让“猜测”看起来比回答“我不知道”更有利,即使表达不确定性才是更可靠的行为。

这并不意味着评估激励是幻觉产生的唯一原因。但这确实意味着,模型的训练、测试和评分方式,会影响它们究竟学会表达不确定性,还是生成可能出错的自信回答。

对用户来说,这解释了一种常见现象:即使问题所需的信息并不在聊天机器人实际掌握范围内,它也可能以流畅而自信的语气作答。

为什么幻觉听起来如此可信

AI 幻觉尤其有风险,因为它们往往听起来很可信。聊天机器人可以生成结构清晰的段落,使用专业语气,并加入听上去很具体的细节,但内容仍然可能是错误的。

这是因为语言流畅度和事实准确性是两种不同的能力。模型可能非常擅长生成自然语言,却仍然无法核实某个陈述是否为真。它可以生成一种符合专家解释风格的回答,却未必能可靠地达到专家事实核查的标准。

因此,用户应当谨慎对待包含以下内容的回答:

  • 没有来源支撑的非常具体的说法。
  • 无法核实的引用来源。
  • 自信给出的法律、医疗或金融建议。
  • 关于时事、政策、价格或产品功能的说法。
  • 未链接到可靠来源的引语或统计数据。
  • 在提示语含糊的情况下却显得过于完整的回答。

一个令人信服的回答,并不一定就是正确的回答。

聊天机器人幻觉的常见类型

AI 聊天机器人的幻觉可以有多种形式。常见例子包括:

编造引用来源

聊天机器人可能会编造文章标题、学术论文、法律案例、作者、页码或网址。有时,引用格式看起来很真实,但来源并不存在。

事实错误

系统可能给出错误的日期、地点、产品功能、公司政策、历史细节或技术要求。

错误归因的引语

聊天机器人可能把某句话归于一个从未说过这句话的人,或者把某段内容改写得过于宽泛,以至于结果具有误导性。

并不存在的规则或政策

在商业场景中,如果聊天机器人无法访问权威文件,它可能会编造退货政策、人力资源流程、保修条款、合规要求或内部流程步骤。

过于自信的专业领域回答

在医疗、法律、金融和工程等高风险领域,聊天机器人可能给出听起来很专业的回答,却遗漏重要限定条件,或依赖不完整的信息。

错误综合

模型可能会错误地组合真实事实。例如,它可能把两部不同法律、两家公司、两种产品或两项研究发现的细节合并成一种不准确的解释。

网页浏览和 RAG 能防止幻觉吗?

网页浏览、引用和检索增强生成可以让模型获得外部信息,从而帮助减少幻觉。但它们无法消除这一问题。

OpenAI 的 WebGPT 研究探讨了模型能否利用网页浏览和参考资料来提高事实准确性。该项目在《WebGPT:通过网页浏览提高事实准确性》中有所介绍,表明浏览和参考资料可以成为有用工具,帮助回答以外部来源为依据。

不过,不应把这项研究视为所有检索增强系统都会以同样方式运行的证明。如果系统找到错误文档、遗漏最相关来源、使用过时信息,或误读检索到的内容,检索仍然可能失败。

在以下情况下,基于检索的聊天机器人仍可能产生幻觉:

  • 检索到的来源与问题无关。
  • 来源不完整或已经过时。
  • 模型误读来源,或对来源作出过度延伸。
  • 系统错误地组合了多个来源。
  • 回答包含了检索材料实际上并不支持的说法。

换言之,检索提高了回答建立在事实依据上的可能性,但并不能保证正确。

NIST 如何界定幻觉风险

NIST 的生成式 AI 风险指南之所以有用,是因为它把编造内容视为一种需要管理的风险,而不是用户只能被迫接受的神秘行为。

对组织而言,这一区分很重要。如果聊天机器人用于客户支持、员工工作流程、研究、软件开发或内容生产,就应在设计、部署、监测和治理过程中考虑幻觉风险。

风险管理方法可能包括:

  • 明确 AI 生成的错误可能在哪些场景造成伤害。
  • 在部署前测试模型输出。
  • 上线后监测回答。
  • 要求在高影响力应用场景中进行人工审核。
  • 在敏感工作流程中限制聊天机器人的权限。
  • 向用户说明已知局限。
  • 更新检索来源和知识库。

这种方法承认,幻觉或许无法完全避免,但其发生概率和影响通常可以降低。

实用核查:区分与依据矛盾和依据不足

以下库存记录与说法是虚构教材,并非真实聊天机器人回复或模型测试。仅使用给定记录,不要假设日期之间库存保持不变。

依据A · 所列仓库的完整快照

2026年10月1日:A仓蓝色笔记本12本,B仓蓝色笔记本8本,A仓红色笔记本3本。这是本例当天快照的全部条目,并非全国库存。

依据B · 部分更新

2026年10月2日:A仓蓝色笔记本9本。未更新B仓和红色笔记本。

待核查说法 判断 理由或计算
10月1日所列仓库共有20本蓝色笔记本 [A]。 有依据。 相同日期和商品:12 + 8 = 20。
10月1日全部笔记本合计20本 [A]。 与依据矛盾。 完整快照还含3本红色笔记本,12 + 8 + 3 = 23。
10月2日蓝色笔记本合计21本 [A, B]。 无法从资料确定。 12 + 9重复计算不同日期的A仓。缺少当天B仓数据,所以21未获证明;但资料也不能排除真实总数碰巧为21。
这些记录确认了今天全国实时库存。 无法从资料确定。 记录只覆盖指定仓库和过去日期,不能证明全国范围或实时可售情况。

修正后的答案

10月1日所列仓库有蓝色笔记本20本,全部笔记本23本 [A]。10月2日A仓报告蓝色笔记本9本 [B]。此次更新不能确定10月2日完整合计或当前库存。

比自信语气更有用的检查

第二项直接与完整快照矛盾,最后两项超出依据范围。要区分这些问题:依据不足应暂缓断言,但不等于已经证明现实中的说法为假。即使引用真实,也可能无法支持句子的日期或覆盖范围。

可复制的核查提示词

仅使用依据A和B,将答案拆分为独立事实说法。标为有依据、与依据矛盾或无法确定,并列出来源ID、日期、范围和计算。不要无依据把数量延续到另一天。然后写出修正答案及缺失信息。

判断之后怎么处理

保留有依据说法的日期和出处,重新计算矛盾数字。对无法确定的说法,删除、缩小范围或索取缺失记录。本例要确定10月2日合计,需要两仓及商品的完整快照;要决定今天能否购买,需要新的库存查询。

若测试聊天机器人,应将真实回复和设置与本答案表分开保存。模型自报信心百分比不是这些资料上的验证准确率。本练习核查四条编写的说法,不估算模型整体幻觉率。

相关指南:逐条核查AI答案

用户应记住什么

AI 聊天机器人之所以会产生幻觉,是因为它们会根据学到的模式和可用的上下文生成看似合理的语言。它们并不会自动把每一句话都与现实逐一核验。训练激励、评估方法、上下文缺失、提示含糊、数据不完整以及检索失败,都可能导致答案错误或缺乏依据。

关键结论并不是聊天机器人毫无用处,而是需要以恰当的方式看待它们的输出。它们可以成为起草、研究辅助、解释说明和提升工作流程效率的有力助手,但并不是永远可靠的真相来源。

当准确性很重要时,就要核实答案。可以要求提供来源、检查引文、补充上下文、鼓励其表达不确定性,并在高风险决策中引入人工审查。幻觉是生成式 AI 的已知局限,最安全的做法是管理这种风险,而不是假定它已经被解决。