精确率说明的是:当模型预测某个样本属于正类时,它有多大比例是判断正确的。召回率说明的是:模型成功找出了多少真实的正类样本。在分类问题中,二者的取舍并不在于哪一个指标放之四海而皆准,而在于具体应用更难承受哪一种错误。
本指南面向学生、初级数据科学家、产品经理以及需要解读分类模型结果的技术决策者,帮助他们不要只依赖准确率来判断模型表现。
机器学习中的精确率与召回率:简要回答
在讨论机器学习中的精确率与召回率时,这两个指标都通过关注正类预测来评估分类器,但它们回答的问题不同:
- 精确率关注的是:模型预测为正类的所有样本中,有多少实际上确实是正类?
- 召回率关注的是:所有真实为正类的样本中,有多少被模型识别出来了?
根据Google机器学习速成课程中关于分类指标的说明,精确率由真阳性和假阳性计算得出,而召回率由真阳性和假阴性计算得出。这个差异很重要,因为假阳性和假阴性在现实中的代价通常并不相同。
针对高精确率调优的模型通常会减少假阳性,但也可能漏掉更多真正的正类样本。针对高召回率调优的模型通常能捕捉到更多真正的正类样本,但也可能产生更多误报。
两个指标背后的混淆矩阵
精确率和召回率都来自对分类结果的同一套四分法拆解,通常称为混淆矩阵。
| 结果 | 含义 |
|---|---|
| 真阳性 | 模型预测为正类,且该样本实际上也是正类。 |
| 假阳性 | 模型预测为正类,但该样本实际上是负类。 |
| 假阴性 | 模型预测为负类,但该样本实际上是正类。 |
| 真阴性 | 模型预测为负类,且该样本实际上也是负类。 |
在这个比较中,最重要的两类错误是:
- 假阳性:模型在不该报警时发出了报警。
- 假阴性:模型漏掉了本应发现的样本。
精确率和召回率之间的权衡,本质上就是这两类错误之间的权衡。
精确率:衡量什么,何时重要
精确率衡量的是正类预测的质量。
公式:
`precision = true positives / (true positives + false positives)`
如果一个分类器的精确率很高,那么它标记为正类的样本大多确实是正类。当假阳性的代价很高时,这一点尤其重要。
例如,在一个假设的欺诈审核流程中,假阳性可能意味着一笔合法交易被中断,或被送去人工审核。在这种场景下,团队可能会非常重视精确率,因为每一次错误告警都可能带来客户体验阻碍或运营工作量。
精确率高并不等于擅长找出所有正类样本。一个模型可能因为只标记少量显而易见的样本而显得非常精确,但同时仍然漏掉许多真实的正类样本。
召回率:衡量什么,何时重要
召回率衡量的是模型找到正类样本的完整程度。
公式:
`recall = true positives / (true positives + false negatives)`
如果一个分类器的召回率很高,它就能找出实际正类中的很大一部分。当假阴性的代价较高时,这一点尤其重要。
例如,在一个假设的筛查系统中,假阴性意味着模型未能标记出本应接受复核的案例。在这类场景下,团队可能会优先考虑召回率,因为漏掉真实正类可能比多复核一些误报更严重。
召回率并不等同于选择性强。模型可以通过标记大量案例来获得较高召回率,但这可能会增加假阳性。
演示示例:评估一个欺诈检测分类器
以下只是用于算术演示的虚构示例。它不是基准测试,不是真实的欺诈模型评估,也不能证明任何实际模型性能。
假设一个欺诈检测分类器审核了1,000笔交易。正类是欺诈。将预测结果与已知标签比较后,得到的混淆矩阵如下:
| 结果 | 数量 |
|---|---|
| 真阳性 | 60 |
| 假阳性 | 30 |
| 假阴性 | 40 |
| 真阴性 | 870 |
第1步:计算精确率
使用Google分类指标指南中的精确率公式:
`precision = true positives / (true positives + false positives)`
代入这个虚构示例中的数量:
`precision = 60 / (60 + 30)`
`precision = 60 / 90 = 0.667`
因此,该模型的精确率约为66.7%。在这个示例中,当模型将一笔交易标记为欺诈时,被标记的交易中大约三分之二确实是欺诈。
第2步:计算召回率
使用召回率公式:
`recall = true positives / (true positives + false negatives)`
代入这个虚构示例中的数量:
`recall = 60 / (60 + 40)`
`recall = 60 / 100 = 0.60`
因此,该模型的召回率为60%。在这个示例中,模型找出了实际欺诈案例的60%,漏掉了40%。
如何解读结果
如果假阳性的代价更高,团队可能会尝试提高精确率,以减少被标记的合法交易。如果假阴性的代价更高,团队可能会尝试提高召回率,以减少被漏掉的欺诈案例。
临界情况很重要:模型可能在提升一个指标的同时损害另一个指标。如果团队提高标记欺诈的阈值,可能会减少假阳性并提高精确率,但也可能漏掉更多实际欺诈,从而降低召回率。如果团队降低阈值,可能会发现更多欺诈并提高召回率,但也可能增加假阳性并降低精确率。
为什么只看准确率可能产生误导
准确率可能有用,但它也可能掩盖模型在你最关心类别上的薄弱表现,尤其是在数据集不平衡时。Microsoft Azure机器学习文档指出,当类别不平衡时,准确率可能会掩盖模型在少数类上的糟糕表现。
设想一个假设数据集,其中几乎所有交易都是合法的,只有一小部分是欺诈。一个主要预测为合法的模型,按总体正确率来看可能表现很强,因为多数类主导了数据。但如果业务问题是找出欺诈,同一个模型仍可能在最重要的任务上失败。
因此,分类评估应当直接检查假阳性和假阴性。精确率和召回率能让这些错误显现出来,而总体准确率未必做得到。
如何在精确率和召回率之间取舍
对于分类问题,并不存在放之四海而皆准的最佳指标。Microsoft 同样强调,合适的评估指标取决于不同错误类型在业务或应用中的成本。
可以采用这条决策规则:
| 如果更大的风险是…… | 优先关注…… | 原因 |
|---|---|---|
| 假阳性 | 精确率 | 你希望正类预测具有很高的可信度。 |
| 假阴性 | 召回率 | 你希望尽可能多地捕捉到实际正例。 |
| 两类错误都很重要 | 均衡评估 | 应同时考察精确率和召回率,而不是只优化其中一个。 |
实际的评估讨论应从成本开始,而不是从指标开始。可以提出这些问题:
- 当模型把负例标为正例时,会发生什么?
- 当模型漏掉一个正例时,会发生什么?
- 哪一种错误成本更高、危害更大,或更难逆转?
- 是否需要调整决策阈值,以反映这种成本?
只有在回答这些问题之后,团队才应决定是用精确率、召回率,还是均衡视角来主导模型选择。
现实中的失败情形:优化了错误的指标
设想一个假设的垃圾邮件过滤器几乎完全围绕召回率进行优化。它几乎能拦下所有垃圾邮件,但也会把许多正常邮件送进垃圾邮件文件夹。从召回率角度看,这个模型可能很有吸引力,因为很少有垃圾邮件漏过。可是从用户体验角度看,它可能无法接受,因为假阳性会让重要邮件被隐藏起来。
现在把问题反过来看。一个几乎完全围绕精确率优化的垃圾邮件过滤器,可能会非常谨慎地判断哪些邮件应被标为垃圾邮件。用户的正常邮件很少会被误放进垃圾邮件文件夹,但由于模型漏掉了不确定的情况,更多垃圾邮件可能会进入收件箱。
这两种模型并没有哪一个天然更好。更好的选择取决于每种错误类型的相对成本,以及对误报和漏检正例的容忍度。
相关指标的位置
评估报告中还可能包含 F1 分数、ROC-AUC 和 PR-AUC 等指标。它们在更广泛的模型比较中可能有用,但不应取代对精确率、召回率、假阳性和假阴性的直接审视。
在决策时,精确率和召回率依然很有价值,因为它们能把模型行为与具体后果联系起来:
- 谁或什么会被标记出来?
- 哪些会被漏掉?
- 哪一种错误代价更高?
与单一汇总分数相比,业务和产品利益相关方通常更容易围绕这些问题进行推理。
要点总结
- 精确率衡量正类预测中有多少是正确的。
- 召回率衡量实际正例中有多少被找了出来。
- 公式为:`precision = TP / (TP + FP)`,`recall = TP / (TP + FN)`。
- 当数据集不平衡时,准确率可能具有误导性,因为多数类会主导结果。
- 高精确率通常意味着假阳性更少,而高召回率通常意味着假阴性更少。
- 正确的指标取决于具体应用,以及每种错误类型的成本。
评估AI分类模型时,不要抽象地问精确率和召回率哪个更好。应先判断哪类错误最让你承受不起,再选择能把这种错误清楚呈现出来的指标。
亲自计算混淆矩阵
修改数量,比较精确率、召回率和准确率回答的不同问题。预设值仅作示例,不是AI实测结果。
总数量:
| 指标 | 结果 | 公式 |
|---|---|---|
| 精确率 | TP / (TP + FP) | |
| 召回率 | TP / (TP + FN) | |
| 准确率 | (TP + TN) / (TP + FP + FN + TN) | |
| F1 | 2TP / (2TP + FP + FN) |
