Themen, die einen zweiten Blick verdienen
VIVA PARADOX.Unabhängige Geschichten, verständlich erzählt.
Viva Paradox · DE

So prüfen Sie, ob die vorhergesagten Wahrscheinlichkeiten eines Modells zuverlässig sind

Conceptual editorial artwork: So prüfen Sie, ob die vorhergesagten Wahrscheinlichkeiten eines Modells zuverlässig sind

Ein Modell kann genaue Ergebnisse liefern und trotzdem Wahrscheinlichkeiten ausgeben, denen Sie nicht vertrauen sollten. Die Wahrscheinlichkeitskalibrierung im maschinellen Lernen prüft eine andere Frage: Wenn das Modell eine Wahrscheinlichkeit wie 0,80 vorhersagt, werden ähnliche Fälle dann tatsächlich in etwa 80 % der Fälle positiv?

Dieser Leitfaden richtet sich an Praktiker, die für einen binären Klassifikator bereits die wahren Labels und vorhergesagten Wahrscheinlichkeiten vorliegen haben und entscheiden müssen, ob diese Wahrscheinlichkeiten zuverlässig genug für Schwellenwerte, Risikoregeln, Entscheidungsunterstützung oder Berichte sind.

Was die Wahrscheinlichkeitskalibrierung beantwortet

Die Wahrscheinlichkeitskalibrierung bewertet, ob vorhergesagte Wahrscheinlichkeiten mit beobachteten Häufigkeiten übereinstimmen, nicht ob das Modell lediglich viele Beispiele richtig klassifiziert. Der scikit-learn-Benutzerleitfaden beschreibt einen gut kalibrierten binären Klassifikator als ein Modell, dessen vorhergesagte Wahrscheinlichkeiten den empirischen Ereignisraten entsprechen; Vorhersagen nahe 0,8 sollten auf geeigneten gelabelten Daten zum Beispiel in etwa 80 % der Fälle positiven Fällen entsprechen (scikit-learn-Leitfaden zur Wahrscheinlichkeitskalibrierung).

Diese Unterscheidung ist wichtig, weil Accuracy, ROC AUC und Konfusionsmatrix alle akzeptabel aussehen können, während die Wahrscheinlichkeiten weiterhin irreführend sind. Ein Klassifikator kann riskante Fälle höher einstufen als Fälle mit geringem Risiko, aber das absolute Risikoniveau systematisch überschätzen. Wenn eine nachgelagerte Richtlinie die Wahrscheinlichkeit selbst verwendet, verändert dieser Unterschied die Entscheidungen.

In ihrer Studie zur Kalibrierung neuronaler Netze verwendeten Guo und Kollegen Zuverlässigkeitsdiagramme, um die Konfidenz eines Modells damit zu vergleichen, wie oft seine Vorhersagen korrekt waren. Für den binären Klassifikator in diesem Leitfaden vergleichen Sie die vorhergesagte Wahrscheinlichkeit der positiven Klasse mit der beobachteten Positivrate in jedem Bin.

Welche Eingaben Sie vor der Kalibrierungsprüfung benötigen

Bevor Sie die Kalibrierung bewerten, stellen Sie vier Dinge zusammen:

  1. Zurückgehaltene wahre Labels. Verwenden Sie gelabelte Daten, die nicht zum Anpassen des Modells verwendet wurden.
  2. Vorhergesagte Wahrscheinlichkeiten für die positive Klasse. Bei binärer Klassifikation ist das in der Regel eine Wahrscheinlichkeit pro Beispiel.
  3. Genügend Beispiele in den relevanten Wahrscheinlichkeitsbereichen. Kalibrierungsschätzungen sind verrauscht, wenn ein Bereich nur wenige Stichproben enthält.
  4. Ein definierter Anwendungsfall. Der akzeptable Fehler hängt von der Entscheidung ab. Eine Ranking-Funktion mit geringem Risiko kann gröbere Wahrscheinlichkeiten eher tolerieren als ein medizinischer, kreditbezogener oder sicherheitskritischer Workflow.

Behandeln Sie ein einzelnes Validierungsergebnis nicht als dauerhaft gültig. Eine auf einem Holdout-Datensatz gemessene Kalibrierung kann nach einer Verteilungsverschiebung, saisonalen Veränderungen, Richtlinienänderungen oder Änderungen in der bewerteten Population versagen.

Das Kernverfahren: Wahrscheinlichkeits-Bins mit beobachteten Häufigkeiten vergleichen

Die praktischste erste Prüfung ist eine gebinnte Kalibrierungstabelle, die häufig als Kalibrierungskurve visualisiert wird.

Für jeden Wahrscheinlichkeitsbereich:

  • gruppieren Sie Beispiele nach vorhergesagter Wahrscheinlichkeit;
  • berechnen Sie die mittlere vorhergesagte Wahrscheinlichkeit in dieser Gruppe;
  • berechnen Sie den beobachteten Anteil positiver Fälle in dieser Gruppe;
  • berichten Sie die Anzahl im Bin.

Eine Kalibrierungskurve vergleicht vorhergesagte Wahrscheinlichkeiten mit dem Anteil positiver Stichproben, der in Gruppen von Vorhersagen beobachtet wurde, wie in der Kalibrierungsdokumentation von scikit-learn beschrieben (scikit-learn-Leitfaden zur Wahrscheinlichkeitskalibrierung). Die zugehörige Funktion `calibration_curve` gibt für jedes Bin den tatsächlichen Anteil positiver Fälle und die mittlere vorhergesagte Wahrscheinlichkeit zurück (scikit-learn-API zu calibration_curve).

Eine einfache Tabelle könnte so aussehen:

Wahrscheinlichkeits-Bin Anzahl Mittlere vorhergesagte Wahrscheinlichkeit Beobachteter Anteil positiver Fälle Interpretation
0.00-0.20 420 0.11 0.10 In diesem Bereich nahe beieinander
0.20-0.40 310 0.31 0.35 Leichte Unterschätzung
0.40-0.60 180 0.51 0.49 In diesem Bereich nahe beieinander
0.60-0.80 70 0.71 0.58 Mögliche Überschätzung
0.80-1.00 15 0.88 0.67 Für sich genommen zu dünn besetzt, um darauf zu vertrauen

Die Spalte mit der Anzahl ist nicht optional. Ein Bin mit 15 Beispielen kann stark ausschlagen, wenn sich nur wenige Labels ändern; deshalb sollte es nicht dasselbe Gewicht haben wie ein Bin mit Hunderten von Beispielen.

Anschauliches Rechenbeispiel mit synthetischen Daten

Das folgende Beispiel verwendet erfundene Labels und Wahrscheinlichkeiten ausschließlich, um die Berechnung zu zeigen. Es belegt nicht die Leistung eines realen Modells.

Angenommen, es liegen 12 Vorhersagen vor:

Fall Vorhergesagte Wahrscheinlichkeit Wahres Label
1 0.05 0
2 0.12 0
3 0.18 1
4 0.27 0
5 0.34 0
6 0.39 1
7 0.46 0
8 0.53 1
9 0.62 1
10 0.74 1
11 0.86 1
12 0.91 0

Nun werden fünf Bins verwendet: 0.00-0.20, 0.20-0.40, 0.40-0.60, 0.60-0.80 und 0.80-1.00. In diesem Rechenbeispiel schließt jedes Bin seine untere Grenze ein und seine obere Grenze aus; nur das letzte Bin schließt 1.00 ein.

Wahrscheinlichkeits-Bin Fälle Anzahl Mittlere vorhergesagte Wahrscheinlichkeit Positive Fälle Beobachteter Anteil positiver Fälle
0.00-0.20 1, 2, 3 3 0.12 1 0.33
0.20-0.40 4, 5, 6 3 0.33 1 0.33
0.40-0.60 7, 8 2 0.50 1 0.50
0.60-0.80 9, 10 2 0.68 2 1.00
0.80-1.00 11, 12 2 0.89 1 0.50

Die Rechnung ist einfach:

  • Im Bin 0.20-0.40 beträgt die mittlere vorhergesagte Wahrscheinlichkeit `(0.27 + 0.34 + 0.39) / 3 = 0.33`.
  • Der beobachtete Anteil positiver Fälle beträgt `1 positiver Fall / 3 Fälle = 0.33`.
  • In diesem Bin liegen vorhergesagte und beobachtete Raten eng beieinander.

Dieses Spielbeispiel hat jedoch eine wichtige Einschränkung: Jedes Intervall ist sehr klein. Das Intervall 0.80-1.00 enthält nur zwei Fälle; ein beobachteter Positivanteil von 0.50 ist daher kein starker Beleg dafür, dass das Modell bei Fällen mit hoher Wahrscheinlichkeit schlecht kalibriert ist. In einer echten Bewertung bräuchten Sie mehr zurückgehaltene Beispiele, vor allem in den Bereichen, die Entscheidungen bestimmen.

So interpretieren Sie das Ergebnis

Lesen Sie die Tabelle, indem Sie in jedem Intervall die mittlere vorhergesagte Wahrscheinlichkeit mit dem beobachteten Positivanteil vergleichen.

  • Nahe beieinanderliegende Werte sprechen für eine akzeptable Kalibrierung in diesem Bereich. Wenn ein Intervall eine mittlere vorhergesagte Wahrscheinlichkeit von 0.31 und einen beobachteten Positivanteil von 0.30 hat, verhält sich das Modell für dieses Segment wie erwartet, vorausgesetzt, das Intervall enthält genügend Beispiele.
  • Liegt die beobachtete Rate unter der vorhergesagten Rate, deutet das auf Überkonfidenz oder Überschätzung hin. Wenn ein Intervall im Mittel bei 0.80 liegt, aber nur 0.60 der Fälle positiv sind, weist das Modell in diesem Bereich zu hohe Wahrscheinlichkeiten zu.
  • Liegt die beobachtete Rate über der vorhergesagten Rate, deutet das auf Unterkonfidenz oder Unterschätzung hin. Wenn ein Intervall im Mittel bei 0.30 liegt, aber 0.45 der Fälle positiv sind, unterschätzt das Modell das Risiko in diesem Bereich.
  • Dünn besetzte Intervalle erfordern Vorsicht. Eine scheinbar große Abweichung in einem Intervall mit wenigen Beispielen kann Rauschen sein und muss kein stabiles Kalibrierungsproblem anzeigen.

Konzentrieren Sie sich auf die Wahrscheinlichkeitsbereiche, die für die geschäftliche oder produktbezogene Entscheidung genutzt werden. Wenn bei 0.70 eine Warnung ausgelöst wird, kann die Kalibrierung im Bereich 0.60-0.80 wichtiger sein als kleine Unterschiede nahe 0.05.

Eine praktische Entscheidungsregel

Nutzen Sie die folgende Regel als Ausgangspunkt und passen Sie sie anschließend an Ihre Risikotoleranz an:

  1. Akzeptieren Sie die Wahrscheinlichkeiten für den vorgesehenen Zweck, wenn die wichtigen Wahrscheinlichkeitsbereiche nur kleine, nicht systematische Abweichungen zwischen der mittleren vorhergesagten Wahrscheinlichkeit und dem beobachteten Positivanteil zeigen und diese Intervalle ausreichend große Stichproben haben.
  2. Untersuchen Sie das Problem oder kalibrieren Sie neu, wenn wichtige Bereiche deutliche und wiederholte Abweichungen zeigen, insbesondere in Intervallen mit genügend Beispielen, um das Muster glaubwürdig zu machen.
  3. Sammeln Sie vor der Entscheidung weitere Validierungsdaten, wenn die entscheidenden Intervalle dünn besetzt oder instabil sind.
  4. Diagnostizieren Sie bei großen Abweichungen das Modell und die Daten, nicht nur die Kalibrierungsschicht. Eine schlechte Kalibrierung kann auf unzureichende Daten, Feature Leakage, Verteilungsverschiebung oder eine Nichtübereinstimmung zwischen Trainings- und Einsatzpopulation zurückgehen.

Es gibt keine universelle Toleranzgrenze, die zu jedem Anwendungsfall passt. Ein Fehler von wenigen Prozentpunkten kann in einem Risikoprozess mit hohen Anforderungen inakzeptabel sein, bei einer Priorisierungsfunktion mit geringem Risiko aber tolerierbar.

Realistischer Fehlerfall: korrekte Labels, unverlässliche Wahrscheinlichkeiten

Betrachten Sie einen Klassifikator, der Konten mit hohem Risiko markieren soll. Er kann bei einem gewählten Schwellenwert viele Beispiele korrekt klassifizieren und dennoch das Risiko bei Konten mit vorhergesagten Wahrscheinlichkeiten zwischen 0.70 und 0.90 überschätzen.

Ein solcher Fehler kann teuer werden, selbst wenn die Genauigkeit akzeptabel erscheint. Wenn die Organisation die Rohwahrscheinlichkeit nutzt, um zu entscheiden, welche Konten manuell geprüft werden, kann das Team zu viel Aufwand auf Fälle verwenden, deren tatsächliche Ereignisrate niedriger ist, als das Modell nahelegt. Die Rangfolge des Modells kann weiterhin nützlich sein, aber seine Wahrscheinlichkeiten sind für diese Richtlinie ohne weitere Validierung oder Anpassung nicht verlässlich genug.

Deshalb sollte die Kalibrierung direkt geprüft werden. Genauigkeit und schwellenwertbasierte Zusammenfassungen beantworten nicht, ob eine vorhergesagte Wahrscheinlichkeit von 0.80 eine Ereignisrate nahe 80 % bedeutet.

Hinweise zur Umsetzung mit scikit-learn

In scikit-learn berechnet `calibration_curve` die beiden zentralen Größen für ein Kalibrierungsdiagramm: den Anteil positiver Fälle und die mittlere vorhergesagte Wahrscheinlichkeit in jedem Intervall (API-Dokumentation). Das ist nützlich für Visualisierungen und für eine erste diagnostische Tabelle.

Sie sollten jedoch auch die Anzahl der Fälle pro Intervall erfassen. Wenn Ihr Werkzeug nur die durchschnittliche vorhergesagte Wahrscheinlichkeit und den beobachteten Anteil positiver Fälle zurückgibt, berechnen Sie die Fallzahlen separat nach derselben Einteilungsregel. Ohne Fallzahlen kann eine Kalibrierungskurve einen dünn besetzten Bereich aussagekräftiger erscheinen lassen, als er ist.

scikit-learn dokumentiert außerdem umfassendere Arbeitsabläufe zur Wahrscheinlichkeitskalibrierung getrennt von der Kurve selbst (Leitfaden zur Wahrscheinlichkeitskalibrierung). Behandeln Sie eine Rekalibrierung als eine mögliche Reaktion, nicht als automatische Lösung. Wenn die Validierungsdaten den Produktionsdaten nicht mehr ähneln, kann eine Rekalibrierung auf der falschen Stichprobe weiterhin zu unzuverlässigen Wahrscheinlichkeiten führen.

Grenzen und Vorsichtsmaßnahmen

Kalibrierungsprüfungen sind empirisch. Sie hängen von der gelabelten Stichprobe, der Einteilungsstrategie und der Population ab, die bewertet wird.

Wichtige Vorsichtsmaßnahmen:

  • Kleine Stichproben können in die Irre führen. Dünn besetzte Intervalle erzeugen instabile beobachtete Anteile positiver Fälle.
  • Klassenungleichgewicht kann dazu führen, dass manche Bereiche schwer zu bewerten sind. In den relevanten Bereichen benötigen Sie möglicherweise mehr Validierungsdaten.
  • Verteilungsverschiebungen können eine frühere Kalibrierung zunichtemachen. Ein im letzten Quartal kalibriertes Modell muss nach Änderungen bei Nutzern, Richtlinien, Saisonalität oder Basisraten nicht weiterhin kalibriert sein.
  • Ein einzelner Validierungsdatensatz ist keine Garantie. Eine gute Kalibrierungskurve auf zurückgehaltenen Daten spricht für den Einsatz in einer ähnlichen Population; sie beweist keine dauerhafte Zuverlässigkeit.
  • Kalibrierung ist nicht dasselbe wie Nützlichkeit. Ein kalibriertes Modell kann für eine Entscheidung dennoch zu schwach sein, wenn es Hochrisiko- und Niedrigrisikofälle nicht gut genug trennt.

Fazit

Um zu prüfen, ob vorhergesagte Wahrscheinlichkeiten zuverlässig sind, vergleichen Sie sie auf zurückgehaltenen gelabelten Daten mit den beobachteten Ergebnisfrequenzen. Bilden Sie Wahrscheinlichkeitsintervalle, geben Sie für jedes Intervall die mittlere vorhergesagte Wahrscheinlichkeit, den beobachteten Anteil positiver Fälle und die Fallzahl an und beurteilen Sie anschließend die Abweichungen in den Bereichen, die Entscheidungen bestimmen.

Wenn die wichtigen Intervalle bei ausreichender Stichprobengröße konsistente Abweichungen zeigen, sollten Sie sich ohne weitere Untersuchung, Rekalibrierung oder zusätzliche Validierungsdaten nicht auf die Rohwahrscheinlichkeiten verlassen. Sind die Abweichungen in der Population, die Sie bewerten wollen, klein und stabil, lassen sich die Wahrscheinlichkeiten für den vorgesehenen Zweck eher vertreten.