AI 偏见是指 AI 系统在数据、设计、输出或部署中存在系统性偏斜,可能对个人或群体造成不公平、不准确或有害的结果。它并不总是有意造成,也不一定会体现在模型的总体准确率分数中。
本指南面向美国的产品经理、内容团队、学生和早期 AI 从业者,帮助他们在不预设具备高级机器学习知识的情况下,用实用的方法理解和检查偏见。本文不构成法律建议,也不声称单一测试就能证明一个 AI 系统是公平的。
什么是 AI 偏见?
AI 偏见是指 AI 系统以系统性偏斜的方式运行。这种偏斜可能来自用于训练或评估模型的数据、人工分配的标签、任务设计、所选特征、用于作出决策的阈值,或系统部署时所处的具体环境。
例如,用于筛选申请的 AI 模型,可能会对不同申请人群体产生不同的选择率或错误率。这种差异本身并不能自动证明存在违法歧视或有害偏见,但它提示应当对系统作更深入的检查。
因此,一个有用的定义应当是实践性的,而不是绝对化的:AI 偏见是模型行为中的一种模式,它可能使某些人的结果相较于其他人更不可靠、更不公平,或造成更大伤害。
AI 偏见与统计模型偏差
“偏见”一词在机器学习和公平性讨论中可能有不同含义。
从技术建模角度看,偏差可以指系统性的预测误差:模型可能持续高估或低估某个值。这类统计偏差很重要,因为它会影响模型质量。
有害的社会偏见则不同。它关注的是 AI 系统的输出或决策是否以某种方式使个人或群体处于不利地位,从而引发公平性、信任或伤害方面的担忧。模型可能存在预测误差,却不造成不公平对待;模型也可能在总体表现看起来可以接受的情况下,仍然造成不公平对待。
这种区分很重要,因为偏见不能用一个数字解决。NIST AI 风险管理框架关于 AI 风险与可信度的讨论将偏见和公平性视为更广泛的可信度与风险管理问题的一部分,而不是在任何情境下都能靠单一指标定论的事项。
AI 偏见从何而来
AI 偏见可能在系统生命周期的多个环节进入。最常见的来源包括以下几类。
缺乏代表性的训练或评估数据
如果用于训练或评估模型的数据不能代表模型将会遇到的人群、案例或条件,模型的表现就可能不均衡。Google 的《机器学习速成课程》指出,当训练或评估数据不能代表模型将面对的人群或使用场景时,偏见可能产生;当人工决策影响数据中哪些内容被收集、标注或遗漏时,偏见也可能产生(Google 机器学习速成课程:识别偏见)。
例如,如果一个系统主要使用来自某一地区、职业、年龄段或客户细分群体的数据来评估,那么它在其他群体上的表现可能并不确定。
数据中的历史模式
训练数据往往反映过去的决策。如果过去的决策并不均衡、不完整,或受到社会模式影响,即使没有人故意把偏见写进程序,模型也可能学到这些模式。
这也是 AI 偏见常常并非有意造成的原因之一。模型可能会复现历史记录中固化的模式,因为这些记录被当作系统应当学习的示例。
测量和标注选择
AI 系统会从标签和目标变量中学习。如果标签存在噪声、带有主观性,或使用方式不一致,模型就可能学到这种不一致。
例如,如果人工审核员对相似的申请给出不同标签,或者某一群体的记录比另一群体更完整,模型学到的可能是测量差异所反映的模式,而不是底层任务中真正有意义的差异。
代理变量
模型可能并不直接使用敏感属性,却仍会使用另一项可充当其代理的特征。在某些场景下,所在地、教育经历、工作经历、设备类型、语言模式或时间信息都可能与群体归属相关。
代理变量是否会引发公平性问题,取决于使用场景、结果和造成的伤害。重点并不是说所有相关性都不合适,而是如果审核者只检查受保护属性是否被明确包含,代理变量可能会让偏见更难被发现。
目标函数和阈值
针对某一目标优化的模型,可能会造成不均衡的后果。例如,最大化总体准确率可能掩盖某个较小子群体上的糟糕表现。决策阈值也可能对不同群体产生不同影响:提高或降低截断值,可能会以不均等的方式改变假阳性、假阴性和选择率。
部署不匹配
在一种环境中评估过的模型,到了另一种环境中可能会表现不同。人群可能发生变化,输入数据的收集方式可能不同,用户也可能以意想不到的方式与工具互动。由于公平性取决于具体语境,通过一次评估并不能证明系统在每一种部署场景中都会公平。
为什么 AI 偏见很重要
AI 偏见之所以重要,是因为许多 AI 系统会影响决策、推荐、排名、风险估计或机会获取。如果模型错误分布不均,有些人可能会遭遇更多错误拒绝、更多误报,或得到不那么可靠的服务。
实际风险包括:
- 无法平等获得机会或服务。
- 对代表性不足群体的预测不准确。
- 当人们遇到无法解释或前后不一致的结果时,用户信任会下降。
- 部署了无法充分解释或监控的系统,团队可能面临声誉风险。
- 在相关情况下,应由合格的法律和领域专家审查合规问题。
关键在于,仅看汇总表现是不够的。一个模型整体上可能看起来有用,但仍会对某个子群体产生不可接受的错误模式。
如何检查 AI 偏见?
偏见检查应比较相关子群体之间的结果和错误,而不只是查看整个数据集。哪些群体和指标适合使用,取决于使用场景、可用数据和潜在伤害。
一个实用流程如下:
- 定义要测试的决策。明确模型输出什么,以及该输出之后会触发什么人工或自动化操作。
- 确定用于评估的相关群体。在适当且可获得的情况下,这些群体可以包括法律保护属性,但也可以包括其他有意义的分组,例如地域、语言、客户类型或数据来源。
- 构建评估集。使用尽可能贴近预期使用场景的数据。如果真实数据不完整,应记录缺失内容。
- 衡量整体性能。这会提供一个基线,但评估不能止步于此。
- 比较子群体结果。查看选择率、拒绝率、错误率、假阳性率、假阴性率,或其他与该决策后果相匹配的指标。
- 调查实质性差距。如果差异较大,就应触发对数据代表性、标签、特征、阈值和部署假设的审查。
- 记录局限性。子群体样本量小、人口统计数据缺失以及标签不确定,都可能使结果不稳定。
- 变更后重新测试。偏见检查应持续进行,尤其是在数据、用户、模型版本或决策阈值发生变化时。
合适的指标取决于具体伤害。在筛选系统中,假阴性可能很重要,因为合格的人会被错误拒绝。在欺诈或安全系统中,假阳性可能很重要,因为人们会被错误标记。在许多场景中,两者都很重要。
示例演练:检查简历筛选模型
以下示例为合成示例。它并不描述真实产品、真实雇主或实际观察到的模型表现。其目的是展示团队如何计算子群体指标,并判断是否需要进一步调查。
场景
一家公司正在评估一个简历筛选分类器。该模型要么让申请人进入人工审核,要么拒绝申请人。在这个简化示例中,评估数据集包含两个人口统计群体:A组和B组,两个组的申请人数相同。
团队有一个参考标签,用来表示每位申请人是否符合该岗位要求。在真实评估中,这个标签的质量和一致性需要仔细审查。
合成评估数据
| 组别 | 申请人 | 合格申请人 | 不合格申请人 | 合格且进入人工审核 | 合格但被拒绝 | 不合格但进入人工审核 | 不合格且被拒绝 |
|---|---|---|---|---|---|---|---|
| A组 | 100 | 50 | 50 | 40 | 10 | 10 | 40 |
| B组 | 100 | 50 | 50 | 30 | 20 | 5 | 45 |
根据这些计数,可以计算三个有用指标。
1. 选择率
选择率是指被模型推进到下一步的申请人所占比例。
- A组:(40名合格且进入人工审核 + 10名不合格但进入人工审核)/ 100 = 50%
- B组:(30名合格且进入人工审核 + 5名不合格但进入人工审核)/ 100 = 35%
在这个合成示例中,B组进入下一步的频率较低,差距为15个百分点。
2. 假阳性率
假阳性率是指不合格申请人中被推进到下一步的比例。
- A组:10 / 50 = 20%
- B组:5 / 50 = 10%
在这个示例中,A组的假阳性率更高。
3. 假阴性率
假阴性率是指合格申请人中被拒绝的比例。
- A组:10 / 50 = 20%
- B组:20 / 50 = 40%
在这个例子中,B组的假阴性率更高。这一点很重要,因为在这组合成数据中,符合条件的B组申请人被拒绝的比例是符合条件的A组申请人的两倍。
参考解读
一个合理的参考答案是:在进一步调查之前,不要按原样依赖此模型进行部署。
原因并不是这张表证明了违法歧视,也不是证明了该模型普遍存在偏见。它并不能证明这些。原因在于,在一项会影响机会获取的决策中,该模型在不同组之间显示出明显不同的选择率和假阴性率。
团队应当暂停,并调查以下问题:
- 评估数据是否能代表申请人群体?
- 资格标签在不同组之间是否一致?
- 某一组的数据中是否缺少重要资格信息?
- 是否有某些特征在充当组别身份的代理变量?
- 采用不同的决策阈值,是否会缩小一个差距却扩大另一个差距?
- 是否应将该模型限制为带有人类复核的决策支持,而不是用于自动拒绝?
边界情况
如果B组在评估集中只有五名申请人,较大的百分比差异可能并不稳定。一两个结果发生变化,就可能显著改变指标。这并不意味着可以忽视这一担忧;而是意味着团队需要更多数据、统计审查,或在部署决策上更加谨慎。
实用决策规则
请把这条规则用作筛查工具,而不是公平性证书:
如果相关组之间的选择率或错误率存在实质性差异,应暂停部署或限制对模型的依赖,直到团队调查数据代表性、标签、特征、阈值和监督机制。
这条规则有意采取保守立场。它并不是说每一种差异都是有害偏见。有些差异可能有特定任务下的解释。但不能仅仅因为总体准确率看起来可以接受,就忽视实质性差距。
公平性指标之间也可能相互冲突。减少假阳性可能会增加假阴性,而为了帮助一个组而调整阈值,也可能影响另一个组。因此,指标选择应当与决策本身、受影响的人群,以及团队试图减少的具体伤害相联系。
现实中的失效案例:准确率掩盖子群体受到的伤害
再看另一组合成评估。某个模型在1,000个案例上进行测试:
| 组别 | 案例数 | 正确预测数 | 准确率 | 假阴性率 |
|---|---|---|---|---|
| A组 | 900 | 810 | 90% | 10% |
| B组 | 100 | 80 | 80% | 35% |
| 总体 | 1,000 | 890 | 89% | 仅凭总体准确率无法提供足够细节 |
如果团队只看最上层的总体数字,89%的总体准确率可能看起来很强。但子群体表明,B组的准确率更低,假阴性率也高得多。
这就是为什么必须进行子群体分析。聚合指标可能被数据集中最大的群体主导。规模较小或代表性不足的群体可能遭遇糟糕得多的结果,而总体分数仍然看起来可以接受。
偏见检查无法证明什么
偏见检查是必要的,但也有局限。
首先,单一指标无法证明公平性。NIST《人工智能风险管理框架》将偏见和公平性视为更广泛的人工智能可信度与风险分析问题的一部分,这意味着团队需要考虑情境、危害、有效性、安全、隐私、透明度和治理,而不只是一个分数(NIST AI RMF)。
其次,评估数据可能并不完整。如果人口统计属性不可用、不可靠,或收集方式不一致,子群体分析就会变得更困难。团队可能需要采用注重隐私保护的方法,并在专家指导下负责任地评估相关群体。
第三,小样本可能会造成误导。样本很少的子群体可能出现大幅百分比波动,而且这些波动并不稳定。这并不意味着可以忽视相关问题,而是会改变结论的置信程度以及所需后续工作的类型。
第四,标签本身也可能带有偏见。如果“真实标签”反映的是主观判断或历史上存在偏斜的人类决策,模型看起来可能很准确,却在复制同样的问题。
第五,部署可能改变结果。基于历史数据评估过的模型,在人们适应它、申请人群发生变化,或系统被用于不同工作流程时,可能会表现出不同的行为。
要点总结
- 什么是人工智能偏见?它是人工智能系统的数据、设计、输出或使用中存在的系统性偏斜,可能导致不公平、不准确或有害的结果。
- 人工智能偏见并不总是有意造成的。它可能来自缺乏代表性的数据、人类标注选择、历史模式、代理变量、阈值,或部署环境不匹配。
- 总体准确率并不够。需要比较相关子群体之间的结果和错误。
- 有用的检查应包括选择率和错误率。对于筛选等决策,假阴性和假阳性可能揭示不同类型的危害。
- 一次测试不能证明公平性。偏见检查取决于具体情境,并应在数据、模型、阈值和用例发生变化时重复进行。
实际目标并不是宣称某个模型完全公平,而是及早发现重大差异,以便开展调查、减少可避免的危害,并做出更好的部署决策。
