Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

モデルの予測確率が信頼できるかを確認する方法

Conceptual editorial artwork: モデルの予測確率が信頼できるかを確認する方法

モデルは正確であっても、信頼すべきでない確率を出すことがあります。機械学習の確率キャリブレーションが確認するのは別の問いです。つまり、モデルが0.80のような確率を予測したとき、似た事例は実際に約80%の割合で陽性になるのか、ということです。

このガイドは、二値分類器について真のラベルと予測確率をすでに持っており、その確率がしきい値設定、リスクルール、意思決定支援、レポート作成に使えるほど信頼できるかを判断する必要がある実務者向けです。

確率キャリブレーションで分かること

確率キャリブレーションは、モデルが単に多くの例を正しく分類しているかではなく、予測確率が観測頻度と一致しているかを評価します。scikit-learnのユーザーガイドでは、よくキャリブレーションされた二値分類器を、予測確率が経験的な事象発生率と一致する分類器と説明しています。たとえば、適切なラベル付きデータでは、0.8付近の予測は約80%の陽性に対応しているべきだとされています(scikit-learnの確率キャリブレーションガイド)。

この区別は重要です。正解率、ROC AUC、混同行列はいずれも問題なさそうに見えても、確率は誤解を招く可能性があるからです。分類器はリスクの高い事例を低リスクの事例より上位に並べられても、リスクの絶対水準を一貫して過大に見積もることがあります。下流のポリシーが確率そのものを使う場合、この違いが意思決定を変えます。

Guo氏らは、ニューラルネットワークのキャリブレーションに関する研究で、信頼性図を使ってモデルの信頼度と予測が正しかった頻度を比較しました。このガイドの二値分類器では、各ビンで陽性クラスの予測確率と観測された陽性率を比較します。

キャリブレーション確認の前に必要な入力

キャリブレーションを評価する前に、次の4つを用意します。

  1. ホールドアウトした真のラベル。モデルの学習に使っていないラベル付きデータを使用します。
  2. 陽性クラスの予測確率。二値分類では、通常は各例につき1つの確率です。
  3. 重要な確率範囲に十分な例があること。ある範囲のサンプルが少数しかない場合、キャリブレーション推定はノイズの影響を受けやすくなります。
  4. 定義されたユースケース。許容できる誤差は意思決定によって異なります。低リスクのランキング機能では、医療、融資、安全上重要なワークフローよりも粗い確率が許容される場合があります。

1回の検証結果を恒久的なものとして扱わないでください。1つのホールドアウトセットで測定したキャリブレーションは、分布シフト、季節変動、ポリシー変更、スコアリング対象集団の変化の後には成り立たなくなることがあります。

基本手順:確率ビンと観測頻度を比較する

最初に行う最も実用的な確認は、ビン分けしたキャリブレーション表です。これはキャリブレーション曲線として可視化されることもよくあります。

各確率範囲について、次を行います。

  • 予測確率ごとに例をグループ化します。
  • そのグループの平均予測確率を計算します。
  • そのグループの観測された陽性割合を計算します。
  • ビン内件数を報告します。

scikit-learnのキャリブレーション文書(scikit-learnの確率キャリブレーションガイド)で説明されているように、キャリブレーション曲線は予測確率と、予測のグループ内で観測された陽性サンプルの割合を比較します。関連する`calibration_curve`関数は、各ビンについて真の陽性割合と平均予測確率を返します(scikit-learn calibration_curve API)。

単純な表は、たとえば次のようになります。

確率ビン 件数 平均予測確率 観測された陽性割合 解釈
0.00-0.20 420 0.11 0.10 この範囲では近い
0.20-0.40 310 0.31 0.35 やや過小評価
0.40-0.60 180 0.51 0.49 この範囲では近い
0.60-0.80 70 0.71 0.58 過大評価の可能性
0.80-1.00 15 0.88 0.67 これだけではサンプルが少なすぎて信頼できません

件数列は省略できません。15例しかないビンは、わずかなラベルの変化で大きくぶれることがあるため、数百例あるビンと同じ重みで扱うべきではありません。

合成データを使った説明用の計算例

次の例では、計算方法を示すためだけに、架空のラベルと確率を使います。実在するモデルの性能を示すものではありません。

12件の予測があるとします。

ケース 予測確率 正解ラベル
1 0.05 0
2 0.12 0
3 0.18 1
4 0.27 0
5 0.34 0
6 0.39 1
7 0.46 0
8 0.53 1
9 0.62 1
10 0.74 1
11 0.86 1
12 0.91 0

ここでは、0.00-0.20、0.20-0.40、0.40-0.60、0.60-0.80、0.80-1.00の5つのビンを使います。この計算例では、最後のビンだけは1.00を含め、それ以外の各ビンは下限を含み、上限を含まないものとします。

確率ビン ケース 件数 平均予測確率 陽性件数 観測された陽性割合
0.00-0.20 1、2、3 3 0.12 1 0.33
0.20-0.40 4、5、6 3 0.33 1 0.33
0.40-0.60 7、8 2 0.50 1 0.50
0.60-0.80 9、10 2 0.68 2 1.00
0.80-1.00 11、12 2 0.89 1 0.50

計算は単純です。

  • 0.20-0.40のビンでは、平均予測確率は`(0.27 + 0.34 + 0.39) / 3 = 0.33`です。
  • 観測された陽性割合は`陽性1件 / 3件 = 0.33`です。
  • そのビンでは、予測された割合と観測された割合がよく一致しています。

ただし、この簡単な例には大きな制約があります。どのビンも非常に小さいことです。0.80〜1.00のビンには2件しかないため、観測された陽性の割合が0.50だったとしても、高い確率を予測したケースでモデルのキャリブレーションが大きくずれていることを示す強い証拠にはなりません。実際の評価では、特に意思決定に使う範囲について、より多くのホールドアウト例が必要です。

結果の解釈方法

各ビンで、平均予測確率と観測された陽性の割合を比較して表を読みます。

  • 値が近い場合、その範囲では許容できるキャリブレーションである可能性があります。あるビンの平均予測確率が0.31で、観測された陽性の割合が0.30なら、そのビンに十分な件数があることを前提に、その区間ではモデルが期待どおりに振る舞っているといえます。
  • 観測率が予測率を下回る場合、過信または過大評価が示唆されます。あるビンの平均が0.80なのに、陽性のケースが0.60にとどまるなら、その範囲でモデルは高すぎる確率を割り当てています。
  • 観測率が予測率を上回る場合、自信不足または過小評価が示唆されます。あるビンの平均が0.30なのに、陽性のケースが0.45あるなら、モデルはその範囲のリスクを低く見積もっています。
  • 件数の少ないビンには注意が必要です。例が少ないビンで大きく見える差は、安定したキャリブレーション上の問題ではなく、ノイズである可能性があります。

ビジネスやプロダクトの判断で使われる確率範囲に注目します。アラートが0.70で発生するなら、0.05付近の小さな差よりも、0.60〜0.80付近のキャリブレーションのほうが重要になる場合があります。

実務で使える判断ルール

次のルールを出発点として使い、そのうえで自分たちのリスク許容度に合わせて調整します。

  1. 想定用途でその確率を受け入れます。重要な確率範囲で、平均予測確率と観測された陽性の割合の差が小さく、体系的ではなく、かつそのビンに十分なサンプル数がある場合です。
  2. 調査または再キャリブレーションを行います。重要な範囲で実質的な差が繰り返し見られる場合、特にそのパターンを信頼できるだけの件数がビンにある場合です。
  3. 判断する前に、検証データをさらに集めます。重要なビンの件数が少ない、または不安定な場合です。
  4. 差が大きい場合は、キャリブレーション層だけでなく、モデルとデータを診断します。キャリブレーションの悪さは、データ不足、特徴量リーク、分布シフト、または学習時の母集団と運用時の母集団の不一致を反映している可能性があります。

あらゆる状況に当てはまる普遍的な許容幅はありません。数パーセントポイントの誤差でも、重大なリスクを扱うワークフローでは受け入れられない場合がありますが、低リスクの優先順位付け機能では許容できる場合があります。

現実的な失敗例:ラベルは正確でも、確率は信頼できない

高リスクのアカウントにフラグを付ける分類器を考えてみます。選んだしきい値では多くの例を正しく分類できる一方で、予測確率が0.70〜0.90のアカウントについては、リスクを過大評価している可能性があります。

精度が許容範囲に見えても、この失敗はコストを伴うことがあります。組織が手動レビューの対象アカウントを決めるために生の確率を使っている場合、実際のイベント率がモデルの示す値より低いケースに、チームが過度の労力を費やすかもしれません。モデルのランキング自体はなお有用な場合がありますが、そのポリシーで使うには、追加の検証や調整なしでは確率の信頼性が十分ではありません。

だからこそ、キャリブレーションは直接確認する必要があります。精度やしきい値に基づく要約だけでは、予測値0.80が約80%のイベント率を意味するかどうかは分かりません。

scikit-learnで実装する際の注意点

scikit-learnでは、`calibration_curve`がキャリブレーションプロットに必要な中核的な2つの量、つまり各ビンの陽性の割合と平均予測確率を計算します(APIドキュメント)。これは、プロットの作成や最初の診断用テーブルに役立ちます。

ただし、ビンごとの件数も追跡する必要があります。使用しているツールが平均予測確率と観測された陽性割合だけを返す場合は、同じビン分けの規則を使って件数を別途計算してください。件数がないと、キャリブレーション曲線は、サンプルの少ない領域を実際以上に意味があるように見せてしまうことがあります。

scikit-learnでは、曲線そのものとは別に、より広い確率キャリブレーションのワークフローも確率キャリブレーションガイドで説明されています。再キャリブレーションは自動的な解決策ではなく、取り得る対応の一つとして扱ってください。検証データが本番データに似なくなっている場合、誤ったサンプルで再キャリブレーションしても、確率が信頼できないままになることがあります。

制約と注意点

キャリブレーションの確認は経験的な評価です。ラベル付きサンプル、ビン分けの方法、スコアリング対象の母集団に左右されます。

主な注意点は次のとおりです。

  • サンプル数が少ないと誤解を招くことがあります。 サンプルの少ないビンでは、観測された陽性割合が不安定になります。
  • クラス不均衡があると、一部の範囲を評価しにくくなることがあります。 重要な領域では、より多くの検証データが必要になる場合があります。
  • 分布シフトによって、以前のキャリブレーションが崩れることがあります。 前四半期にキャリブレーションされたモデルでも、ユーザー、ポリシー、季節性、またはベースレートが変化した後もキャリブレーションが保たれるとは限りません。
  • 1つの検証セットだけでは保証になりません。 ホールドアウトデータで良好なキャリブレーション曲線が得られれば、似た母集団での利用を後押しする根拠にはなりますが、恒久的な信頼性を証明するものではありません。
  • キャリブレーションされていることと有用であることは同じではありません。 キャリブレーションされたモデルでも、高リスクのケースと低リスクのケースを十分に分けられなければ、意思決定に使うには力不足のことがあります。

要点

予測確率が信頼できるかを確認するには、ホールドアウトされたラベル付きデータで、予測確率と観測された結果の頻度を比較します。確率のビンを作り、各ビンについて平均予測確率、観測された陽性割合、件数を報告したうえで、意思決定に影響する範囲での差を判断します。

重要なビンで十分なサンプル数があり、なお一貫した差が見られる場合は、追加調査、再キャリブレーション、またはさらなる検証データなしに生の確率に依存しないでください。スコアリングを予定している母集団で差が小さく安定しているなら、その確率は意図した用途に対して、より根拠をもって使えるものになります。