AI生成的答案可以作为有用的起点,但不应被当作最终的事实来源。最稳妥的核查方法,是把回答拆分成一个个具体说法,用可靠来源逐项比对,确认所有引用确实支持其中的具体表述,并记录仍不确定的内容。
这个过程很重要,因为一句话准确,并不能证明整段答案都可靠。AI回答可能把正确的背景信息与缺乏依据的细节、过时的语境,或看似相关却并不支持该说法的引用混在一起。根据OpenAI关于《ChatGPT会说真话吗》的帮助文章,OpenAI建议用户用可靠来源核对来自ChatGPT的重要信息,并把生成的文本视为草稿,而不是默认它完全准确。
本指南面向学生、专业人士、研究人员、内容创作者和普通用户,帮助他们在依赖AI输出之前,用一种实用的方法进行核查。
练习:用完整原文核查答案
这是虚构的教学练习,并非真实企业政策或AI运行记录。核查所需的全部依据均列于下方。
依据卡A
工作日14:00之前(含14:00)的订单当天发货;之后的订单下一个工作日发货。普通配送在发货后需要2至3个工作日。周末不发货。
依据卡B
周五16:30下单。周一至周五为工作日,假设没有节假日。
待核查答案(故意包含错误)
订单周五发货,周一到达,而且加急配送免费。
先自行判断三个说法,再查看答案。
| 说法 | 判断及理由 |
|---|---|
| 周五发货 | 与依据矛盾。16:30晚于14:00,下一个工作日为周一。 |
| 周一到达 | 与给定的普通配送条件矛盾。周一发货,以周二为第1天,预计周三至周四到达。这是估计,并非保证。 |
| 加急配送免费 | 没有依据。两张卡片都没有说明是否提供加急配送及其费用。缺少依据并不等于已证实为假。 |
修正后的答案
按这些虚构条件,订单周一发货,普通配送预计周三至周四到达。无法从依据中确定加急服务是否提供及其价格。
自己改变条件
改为周五13:30下单:周五发货,预计周二至周三到达。若改为周一是节假日,则周五16:30的订单周二发货,预计周四至周五到达。
可复制的核查提示词
只使用上方依据卡A和B,将答案拆分为单独的说法。把每项标为有依据、与依据矛盾或无依据。说明对应的准确规则或计算,然后写出修正答案。不要推测未给出的费用或服务。
通过条件:三项判断和工作日计算全部正确。另一个AI的答案本身不是独立证据,应与依据卡和答案核对。本练习展示核查方法,并非模型准确率测试结果。
第1步:找出需要核查的说法
首先把AI答案拆分成若干部分。并不是每句话都需要同等程度的核查。
重点留意以下内容:
- 事实性说法:可以被证明或证伪的陈述,例如日期、法律、技术要求、定义或具名来源。
- 数字类说法:统计数据、价格、百分比、排名、测量值或截止日期。
- 因果性说法:声称某一事物会导致、阻止、改善或减少另一事物的陈述。
- 建议:关于某人应该怎么做的意见。
- 假设:答案所依赖、但可能没有明确说明的背景条件。
- 观点或解读:判断、预测或总结;它们可能合理,但仍需要语境。
核查应聚焦于单个说法。如果AI答案称某个来源存在、某个日期正确,并且某项政策适用于美国,那么每一点都需要单独核查。不要因为其中一部分准确,就认可整段答案。
一个简单的方法是把AI回答复制到文档中,只标出那些一旦出错就会产生影响的陈述。这些就是你应优先核查的内容。
第2步:用可靠来源核对答案
确定各项说法后,将它们与适合该主题的来源进行比对。
例如:
- 如果涉及政府规则,应查阅相关政府机构、法律条文、法规或官方指南。
- 如果涉及公司产品功能,应查阅公司的官方文档或支持页面。
- 如果涉及学术或科学信息,应寻找同行评议研究、官方摘要或公认的专家机构。
- 如果涉及技术操作说明,应查阅官方文档、标准组织资料或可信的维护者信息。
- 如果涉及时事,应查阅信誉良好的新闻机构近期报道,并在可能的情况下核对官方声明。
目标不只是再找一个说法相近的网页,而是判断AI答案中的具体说法是否可以被验证。
美国国家标准与技术研究院(NIST)介绍了一种用于机器生成报告的相关评估方法:将报告中的主张和引用与源文件进行比对,以判断这些主张是否有依据。这一点出自 NIST 关于机器生成报告评估的出版物。同样的思路也很适合日常核查 AI 答案:应当用真正能够证明相关内容的文件或权威来源来核对其中的主张。
步骤 3:核查引用和来源是否支持说法
引用会让 AI 答案看起来更可信,但仅有引用并不能证明内容准确。只有通过四项核查,引用才有用。
可以这样询问:
- 来源是否存在?打开链接,或搜索文件标题,确认它确实存在。
- 来源是否相关?某个来源可能讨论的是同一大主题,却并不支持具体说法。
- 来源是否足够权威?考虑是谁发布了它、发布者具备什么专业能力,以及他们是否有理由保证内容准确。
- 来源是否支持这条具体说法?只有在被引用页面确实说明了 AI 答案所归因的内容时,才应依赖该引用。
第四项核查常常被人忽略。一个来源可以是真实的、信誉良好的,但仍然不支持 AI 的表述。例如,关于工作场所安全的政府页面,未必能支持某个特定州要求的具体说法;一篇关于某类患者群体的医学文章,未必能支持给另一类人群的建议;针对某个软件版本的技术文档页面,也未必适用于另一个版本。
如果引用并不支持相关说法,即使来源看起来可信,也应将这条说法标记为“未核实”。
步骤 4:查找缺失的背景信息和过度自信的表述
AI 生成的答案听起来可能比证据所能支持的程度更确定。当答案很短、很笼统,或语气自信却没有说明条件和限制时,这种风险尤其高。
需要警惕的信号包括:
- 在没有依据的情况下使用“总是”“从不”“有保证”或“已证明”等宽泛表述。
- 没有来源、日期、研究对象或方法说明的统计数据。
- 没有说明司法管辖范围、背景条件或专业审核的法律、医疗、财务或安全建议。
- 没有日期或来源的时事相关说法。
- 省略版本号、平台差异或前置条件的技术步骤。
- 引用指向首页,而不是具体提供支持的文件。
- 没有说明取舍或不确定性的建议。
缺少背景信息并不一定意味着答案是错的,而是说明这个答案还不能作为依据。应当追问:要让这个答案准确,需要满足哪些条件?
例如,关于截止日期的说法可能取决于州、机构、纳税年度、申报身份或生效日期。技术类答案可能取决于软件版本。健康相关摘要可能取决于年龄、诊断、用药或风险因素。如果缺少这些细节,采取行动前应先核实。
步骤 5:用多个独立来源交叉核对重要说法
对于重要或存在争议的说法,一个来源可能不够。如果决策会产生后果,或不同来源之间存在分歧,就应使用多个独立来源。
好的交叉核查应寻找独立确认,而不是重复转述。如果三篇文章都在概述同一份原始文件,它们未必提供了三项彼此独立的确认。只要可能,就应找出原始来源,并把各类摘要与原文进行对照。
在以下情况下,应使用多个来源:
- 答案会影响健康、法律、财务、安全、学术或职业决策。
- 该主张令人意外或有悖直觉。
- 相关主题变化频繁。
- AI生成的答案给出了具体数字、截止日期或要求。
- 不同来源似乎存在分歧。
如果可信来源相互冲突,不要勉强得出结论。应记录分歧,并说明什么可以解决这一问题:更新的来源、原始文件、合格专家,或范围更窄的问题表述。
第6步:对利害重大的主题格外谨慎
有些AI生成的答案需要更严格的审查,因为出错代价很高。这包括医疗、法律、财务、安全、学术、就业、合规和时事等主题。
对于这些主题,应把AI答案视为进一步调查的草稿,而不是决策工具。请通过权威机构、官方文件或合格专业人士核实信息。当结果可能影响他人的健康、权利、金钱、安全或法律义务时,不要只依赖AI生成的答案。
这并不意味着AI在利害重大的主题上毫无用处。它可以帮助你整理问题、概括背景,或为与专家交流做准备。但最终核查应来自与该决策相匹配的可靠来源。
第7步:保留核查记录
如果答案很重要,就简要记录你核查过的内容。这对课业、职场研究、已发布内容、技术文档和政策决策尤其有用。
你的记录可以很简单:
| 主张 | 已核查来源 | 结果 | 备注 |
|---|---|---|---|
| AI答案称某项规则适用于美国 | 官方机构页面 | 已核实/未核实/不明确 | 写明访问日期和任何限制条件 |
| AI答案引用了一份报告 | 已打开并审阅该报告 | 支持/不支持 | 注明相关章节 |
| AI答案给出了一项统计数据 | 原始来源或权威数据库 | 已核实/已过时/不明确 | 记录来源日期 |
这样做有两个作用。第一,可以避免你之后重复核查同一点。第二,可以区分哪些是你已经知道的,哪些仍需要确认。
清单:如何核查 AI 生成的答案
当你需要一套可重复执行的流程时,可以使用这份清单。
- 找出需要核查的主张。标出事实性陈述、数字、日期、建议和假设。
- 按风险确定优先级。优先核查那些一旦出错影响最大的主张。
- 寻找权威来源。优先使用一手来源、官方文档、同行评审研究、政府资源,或公认专家发布的资料。
- 逐条检查引用。确认被引用的来源确实存在、相关、可信,并且支持所说的具体主张。
- 警惕过度自信。对宽泛说法、没有来源支持的统计数据、来源表述含糊以及缺少日期的内容保持谨慎。
- 检查时效性。对于时事、政策、价格、法律要求和技术功能,要确保来源足够新。
- 使用独立确认。对于重要或有争议的主张,要对比多个可靠来源。
- 升级处理高风险决策。涉及医疗、法律、财务、安全或合规问题时,应咨询合格专业人士或权威机构。
- 记录你的核查过程。记下你核实了什么、使用了哪些来源,以及还有哪些不确定之处。
- 修订答案。把 AI 输出当作草稿,并用已核实的信息、限制条件和引用来更新它。
无法核实某项主张时该怎么做
如果某项主张无法核实,不要悄悄把它留在原处。可以选择以下做法之一:
- 删除这项主张。
- 把它改写成一个有待进一步研究的问题。
- 加上限定说明,例如“这似乎取决于来源或具体背景”。
- 用你的来源确实支持的、更窄的主张来替换它。
- 咨询合格专家或权威组织。
正确选择取决于利害关系的严重程度。随意头脑风暴时,标注不确定性可能就足够了。但对于发表内容、专业决策、学术提交,或会影响他人的建议,缺少支持的主张应在使用前删除或核实。
要点
核查 AI 准确性的最佳方式,不是判断整个答案是否“听起来对”,而是逐项核实答案中的主张。把 AI 回答当作草稿,将重要陈述与可靠来源对照,检查引用是否真正提供支持,并在后果严重时采用更严格的标准。
这套流程不能保证完美,但能帮助你在采信之前发现缺少支持、已经过时、过于宽泛或归因错误的信息。
