Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

如何判断模型预测概率是否可靠

Conceptual editorial artwork: 如何判断模型预测概率是否可靠

模型可能预测得很准,却给出不应轻信的概率。机器学习中的概率校准关注的是另一个问题:当模型预测某个概率,例如0.80时,类似样本实际成为正类的比例是否约为80%?

本指南面向已经拥有二分类器真实标签和预测概率的实践者,帮助他们判断这些概率是否足够可靠,可用于阈值设定、风险规则、决策支持或报告。

概率校准回答什么问题

概率校准评估的是预测概率是否与观测频率一致,而不是模型是否只是把许多样本分类正确。scikit-learn用户指南将校准良好的二分类器描述为预测概率与经验事件率相匹配的分类器;例如,在合适的带标签数据上,接近0.8的预测应当对应约80%的正类比例(scikit-learn概率校准指南)。

这种区别很重要,因为准确率、ROC AUC和混淆矩阵看起来都可能合格,但概率本身仍然具有误导性。分类器也许能把高风险样本排在低风险样本之前,却系统性地夸大绝对风险水平。如果下游策略直接使用这个概率,这种差异就会改变决策。

Guo及其同事在神经网络校准研究中使用可靠性图,将模型置信度与其预测正确的频率进行比较。对于本指南中的二分类器,应比较每个分箱内正类的预测概率与观测到的正类比例。

检查校准前需要准备的输入

评估校准之前,需要准备四项内容:

  1. 留出的真实标签。 使用未参与模型拟合的带标签数据。
  2. 正类的预测概率。 对于二分类,通常每个样本对应一个概率。
  3. 在关键概率区间内有足够样本。 当某个区间只有少量样本时,校准估计会有较大噪声。
  4. 明确的使用场景。 可接受的误差取决于决策本身。与医疗、信贷或安全关键流程相比,低风险排序功能可能更能容忍不那么精确的概率。

不要把单次验证结果视为永久有效。在一个留出集上测得的校准情况,可能会在分布漂移、季节性变化、政策变化或被评分人群变化之后失效。

核心流程:比较概率分箱与观测频率

最实用的第一步检查是构建分箱校准表,并且通常将其可视化为校准曲线。

对每个概率区间:

  • 按预测概率对样本分组;
  • 计算该组的平均预测概率;
  • 计算该组的观测正类比例;
  • 报告分箱样本数。

校准曲线会比较预测概率与各预测分组中观测到的正类样本比例,scikit-learn校准文档对此有所说明(scikit-learn概率校准指南)。相关的`calibration_curve`函数会返回每个分箱的真实正类比例和平均预测概率(scikit-learn calibration_curve API)。

一个简单表格可能如下所示:

概率分箱 样本数 平均预测概率 观测正例比例 解读
0.00-0.20 420 0.11 0.10 在此区间内接近
0.20-0.40 310 0.31 0.35 略有低估
0.40-0.60 180 0.51 0.49 在此区间内接近
0.60-0.80 70 0.71 0.58 可能高估
0.80-1.00 15 0.88 0.67 样本过少,不能单独信赖

数量列不是可有可无的。一个只有15个样本的区间,只要少数标签发生变化,结果就可能大幅波动,因此不应与包含数百个样本的区间赋予同等权重。

使用合成数据的示例演算

下面的示例只使用虚构的标签和概率来展示计算过程,并不能说明任何真实模型的性能。

假设你有12个预测结果:

案例 预测概率 真实标签
1 0.05 0
2 0.12 0
3 0.18 1
4 0.27 0
5 0.34 0
6 0.39 1
7 0.46 0
8 0.53 1
9 0.62 1
10 0.74 1
11 0.86 1
12 0.91 0

现在使用五个区间:0.00-0.20、0.20-0.40、0.40-0.60、0.60-0.80和0.80-1.00。在这个演算示例中,每个区间包含下边界、不包含上边界,但最后一个区间例外,它包含1.00。

概率区间 案例 数量 平均预测概率 正例数 观测正例比例
0.00-0.20 1, 2, 3 3 0.12 1 0.33
0.20-0.40 4, 5, 6 3 0.33 1 0.33
0.40-0.60 7, 8 2 0.50 1 0.50
0.60-0.80 9, 10 2 0.68 2 1.00
0.80-1.00 11, 12 2 0.89 1 0.50

算术过程很直接:

  • 在0.20-0.40区间内,平均预测概率为`(0.27 + 0.34 + 0.39) / 3 = 0.33`。
  • 观测正例比例为`1个正例 / 3个案例 = 0.33`。
  • 在该区间内,预测比例与观测比例非常接近。

但这个玩具示例有一个重要限制:每个分箱都很小。0.80-1.00分箱只有两个案例,因此观察到的正例比例为0.50,并不能有力证明模型在高概率案例上的校准很差。在真实评估中,你需要更多留出样本,尤其是在会影响决策的概率范围内。

如何解读结果

解读这张表时,要比较每个分箱中的平均预测概率和观察到的正例比例。

  • 数值接近,说明该范围内的校准可能可以接受。如果某个分箱的平均预测概率为0.31,观察到的正例比例为0.30,并且该分箱有足够样本,那么模型在这一段的表现符合预期。
  • 观察到的比例低于预测比例,说明可能存在过度自信或高估。如果某个分箱的平均值为0.80,但只有0.60的案例为正例,说明模型在该范围内给出的概率过高。
  • 观察到的比例高于预测比例,说明可能存在信心不足或低估。如果某个分箱的平均值为0.30,但0.45的案例为正例,说明模型低估了该范围内的风险。
  • 样本稀疏的分箱需要谨慎对待。在样本很少的分箱中,看起来很大的差距可能只是噪声,而不是稳定的校准问题。

应重点关注业务或产品决策会用到的概率范围。如果警报在0.70触发,那么0.60-0.80附近的校准可能比0.05附近的细微差异更重要。

实用决策规则

可以把这条规则作为起点,再根据你的风险承受能力进行调整:

  1. 在预期用途下接受这些概率,前提是重要概率范围内的平均预测概率与观察到的正例比例之间差距较小、没有系统性,并且这些分箱的样本量足够。
  2. 开展调查或重新校准,适用于重要范围出现实质性且反复的差距,尤其是相关分箱有足够样本、足以让这种模式可信时。
  3. 先收集更多验证数据再做决定,适用于关键分箱样本稀疏或不稳定的情况。
  4. 差距较大时,不要只诊断校准层,还要诊断模型和数据,因为校准不佳可能反映数据不足、特征泄漏、分布漂移,或训练人群与部署人群不匹配。

不存在适用于所有场景的通用容忍度。在高风险工作流中,几个百分点的误差可能无法接受;但在低风险的优先级排序功能中,这样的误差可能可以容忍。

现实中的失败案例:标签准确,但概率不可靠

设想一个用于标记高风险账户的分类器。它可能在选定阈值下正确分类许多样本,但仍然会高估预测概率在0.70到0.90之间的账户风险。

即使准确率看起来可以接受,这种失败也可能代价高昂。如果机构使用原始概率来决定哪些账户需要人工审核,团队可能会在一些实际事件率低于模型暗示水平的案例上投入过多精力。模型的排序可能仍然有用,但如果没有进一步验证或调整,其概率还不足以可靠支撑这项政策。

这正是需要直接检查校准的原因。准确率和基于阈值的汇总指标无法回答:预测值0.80是否意味着事件率接近80%。

使用scikit-learn时的实现说明

在 scikit-learn 中,`calibration_curve` 会计算校准图的两个核心量:每个分箱中的正例比例和平均预测概率(见API 文档)。这有助于绘图,也适合作为初步诊断表。

不过,你还应该跟踪每个分箱的样本数。如果所用工具只返回平均预测概率和观测正例比例,就要使用相同的分箱规则另行计算样本数。没有样本数,校准曲线可能会让样本稀疏的区间显得比实际更有意义。

除校准曲线本身外,scikit-learn 还单独记录了更完整的概率校准工作流程(见概率校准指南)。应把重新校准视为一种可能的应对方式,而不是自动生效的修复手段。如果验证数据已不再像生产数据,在错误样本上重新校准后,概率仍可能不可靠。

局限与注意事项

校准检查是经验性的。它取决于带标签样本、分箱策略以及被评分的人群或对象。

主要注意事项:

  • 小样本可能造成误导。样本稀疏的分箱会产生不稳定的观测正例比例。
  • 类别不平衡会使某些区间难以评估。你可能需要在关键区间收集更多验证数据。
  • 分布偏移可能破坏以往的校准结果。上个季度校准过的模型,在用户、政策、季节性或基准率发生变化后,未必仍然保持校准。
  • 一个验证集并不能提供保证。在留出数据上表现良好的校准曲线,可以支持模型用于相似总体;但它不能证明模型会永久可靠。
  • 校准不等于有用。如果一个已校准的模型不能充分区分高风险和低风险案例,它对某项决策而言仍可能太弱。

结论

要检查预测概率是否可靠,应在留出的带标签数据上,将预测概率与观测到的结果频率进行比较。构建概率分箱,报告每个分箱的平均预测概率、观测正例比例和样本数,然后判断那些影响决策的区间中差距有多大。

如果关键分箱在样本量充足的情况下仍显示出一致差距,不要在没有进一步调查、重新校准或更多验证数据的情况下依赖原始概率。如果在你计划评分的总体中,这些差距较小且稳定,那么这些概率用于预定用途就更有依据。