Präzision gibt an, wie oft ein Modell richtig liegt, wenn es die positive Klasse vorhersagt. Recall zeigt, wie viele tatsächlich positive Fälle das Modell erfolgreich findet. Bei Klassifikationsproblemen geht es bei der Wahl zwischen beiden nicht darum, welche Kennzahl allgemein besser ist, sondern welcher Fehlertyp für die jeweilige Anwendung teurer ist.
Dieser Leitfaden richtet sich an Studierende, Data Scientists am Berufsanfang, Produktmanagerinnen und Produktmanager sowie technische Entscheidungsträger, die Ergebnisse von Klassifikationsmodellen interpretieren müssen, ohne sich allein auf die Genauigkeit zu stützen.
Präzision vs. Recall im maschinellen Lernen: die kurze Antwort
In Diskussionen über Präzision vs. Recall im maschinellen Lernen bewerten beide Kennzahlen einen Klassifikator mit Blick auf positive Vorhersagen, stellen dabei aber unterschiedliche Fragen:
- Präzision fragt: Wie viele von allen Fällen, die das Modell als positiv vorhergesagt hat, waren tatsächlich positiv?
- Recall fragt: Wie viele von allen tatsächlich positiven Fällen hat das Modell erkannt?
Laut dem Google Machine Learning Crash Course zu Klassifikationsmetriken wird Präzision aus richtig positiven und falsch positiven Ergebnissen berechnet, während Recall aus richtig positiven und falsch negativen Ergebnissen berechnet wird. Dieser Unterschied ist wichtig, weil falsch positive und falsch negative Ergebnisse in der Praxis meist unterschiedliche Kosten verursachen.
Ein auf hohe Präzision abgestimmtes Modell reduziert in der Regel falsch positive Ergebnisse, kann aber mehr tatsächlich positive Fälle übersehen. Ein auf hohen Recall abgestimmtes Modell erfasst normalerweise mehr richtig positive Ergebnisse, kann jedoch mehr Fehlalarme erzeugen.
Die Konfusionsmatrix hinter beiden Kennzahlen
Präzision und Recall stammen aus derselben vierteiligen Aufschlüsselung von Klassifikationsergebnissen, die häufig als Konfusionsmatrix bezeichnet wird.
| Ergebnis | Bedeutung |
|---|---|
| Richtig positives Ergebnis | Das Modell hat positiv vorhergesagt, und der Fall war tatsächlich positiv. |
| Falsch positives Ergebnis | Das Modell hat positiv vorhergesagt, der Fall war aber tatsächlich negativ. |
| Falsch negatives Ergebnis | Das Modell hat negativ vorhergesagt, der Fall war aber tatsächlich positiv. |
| Richtig negatives Ergebnis | Das Modell hat negativ vorhergesagt, und der Fall war tatsächlich negativ. |
Die beiden wichtigsten Fehlertypen für diesen Vergleich sind:
- falsch positive Ergebnisse: Das Modell schlägt Alarm, obwohl es das nicht sollte.
- falsch negative Ergebnisse: Das Modell übersieht einen Fall, den es hätte erkennen sollen.
Der Zielkonflikt zwischen Präzision und Recall ist im Kern ein Zielkonflikt zwischen diesen beiden Fehlertypen.
Präzision: Was die Kennzahl misst und wann sie wichtig ist
Präzision misst die Qualität positiver Vorhersagen.
Formel:
`precision = true positives / (true positives + false positives)`
Wenn ein Klassifikator eine hohe Präzision hat, sind die meisten Fälle, die er als positiv markiert, tatsächlich positiv. Das ist besonders wichtig, wenn falsch positive Ergebnisse teuer sind.
In einem hypothetischen Workflow zur Betrugsprüfung könnte ein falsch positives Ergebnis beispielsweise bedeuten, dass eine legitime Transaktion unterbrochen oder zur manuellen Prüfung weitergeleitet wird. In einem solchen Umfeld kann Präzision für ein Team sehr wichtig sein, weil jeder falsche Alarm Reibung für Kundinnen und Kunden oder zusätzlichen betrieblichen Aufwand verursachen kann.
Präzision ist nicht dasselbe wie die Fähigkeit, jeden positiven Fall zu finden. Ein Modell kann sehr präzise sein, weil es nur eine kleine Zahl offensichtlicher Fälle markiert, und gleichzeitig viele tatsächlich positive Fälle übersehen.
Recall: Was die Kennzahl misst und wann sie wichtig ist
Recall misst, wie vollständig das Modell die positive Klasse findet.
Formel:
`recall = true positives / (true positives + false negatives)`
Hat ein Klassifikator einen hohen Recall, findet er einen großen Teil der tatsächlich positiven Fälle. Das ist besonders wichtig, wenn falsch negative Ergebnisse teuer sind.
In einem hypothetischen Screening-System bedeutet ein falsch negatives Ergebnis zum Beispiel, dass das Modell einen Fall nicht kennzeichnet, der hätte geprüft werden sollen. In einem solchen Umfeld kann ein Team dem Recall Vorrang geben, weil übersehene echte Positivfälle schwerer wiegen könnten als zusätzliche Fehlalarme.
Recall ist nicht dasselbe wie Selektivität. Ein Modell kann einen hohen Recall erreichen, indem es viele Fälle kennzeichnet, doch dadurch können die falsch positiven Ergebnisse zunehmen.
Durchgerechnetes Beispiel: Bewertung eines Klassifikators zur Betrugserkennung
Das folgende Beispiel ist ausschließlich ein fiktives Beispiel für die Berechnung. Es ist kein Benchmark, keine echte Bewertung eines Betrugsmodells und kein Beleg für die tatsächliche Modellleistung.
Angenommen, ein Klassifikator zur Betrugserkennung prüft 1.000 Transaktionen. Die positive Klasse ist Betrug. Nach dem Vergleich der Vorhersagen mit den bekannten Labels ergibt sich folgende Konfusionsmatrix:
| Ergebnis | Anzahl |
|---|---|
| Richtig positive Ergebnisse | 60 |
| Falsch positive Ergebnisse | 30 |
| Falsch negative Ergebnisse | 40 |
| Richtig negative Ergebnisse | 870 |
Schritt 1: Präzision berechnen
Verwenden Sie die Präzisionsformel aus den Google-Leitlinien zu Klassifikationsmetriken:
`precision = true positives / (true positives + false positives)`
Setzen Sie die fiktiven Werte ein:
`precision = 60 / (60 + 30)`
`precision = 60 / 90 = 0.667`
Die Präzision des Modells beträgt also etwa 66,7 %. In diesem Beispiel sind rund zwei Drittel der Transaktionen, die das Modell als Betrug kennzeichnet, tatsächlich Betrug.
Schritt 2: Recall berechnen
Verwenden Sie die Recall-Formel:
`recall = true positives / (true positives + false negatives)`
Setzen Sie die fiktiven Werte ein:
`recall = 60 / (60 + 40)`
`recall = 60 / 100 = 0.60`
Der Recall des Modells beträgt also 60 %. In diesem Beispiel findet das Modell 60 % der tatsächlichen Betrugsfälle und übersieht 40 %.
So lässt sich das Ergebnis interpretieren
Wenn falsch positive Ergebnisse teurer sind, kann das Team versuchen, die Präzision zu verbessern, damit weniger legitime Transaktionen markiert werden. Wenn falsch negative Ergebnisse teurer sind, kann das Team versuchen, den Recall zu verbessern, damit weniger Betrugsfälle übersehen werden.
Der Schwellenwert ist entscheidend: Ein Modell kann eine Kennzahl verbessern und zugleich die andere verschlechtern. Hebt das Team den Schwellenwert für die Betrugskennzeichnung an, kann es falsch positive Ergebnisse reduzieren und die Präzision verbessern, zugleich aber mehr tatsächlichen Betrug übersehen und den Recall senken. Senkt das Team den Schwellenwert, kann es mehr Betrug erfassen und den Recall verbessern, zugleich aber auch mehr falsch positive Ergebnisse erzeugen und die Präzision senken.
Warum Genauigkeit allein in die Irre führen kann
Genauigkeit kann nützlich sein, sie kann aber eine schwache Leistung bei der Klasse verdecken, die Ihnen am wichtigsten ist, insbesondere wenn der Datensatz unausgewogen ist. Die Dokumentation zu Microsoft Azure Machine Learning weist darauf hin, dass Genauigkeit bei unausgewogenen Klassen eine schlechte Leistung in einer Minderheitsklasse verschleiern kann.
Betrachten Sie einen hypothetischen Datensatz, in dem fast alle Transaktionen legitim sind und nur ein kleiner Anteil betrügerisch ist. Ein Modell, das überwiegend „legitim“ vorhersagt, kann nach der Gesamtquote richtiger Vorhersagen stark wirken, weil die Mehrheitsklasse die Daten dominiert. Wenn das Geschäftsproblem jedoch darin besteht, Betrug zu finden, könnte dasselbe Modell bei der wichtigsten Aufgabe dennoch versagen.
Deshalb sollte die Bewertung von Klassifikationsmodellen falsch positive und falsch negative Ergebnisse direkt betrachten. Präzision und Recall machen diese Fehler sichtbar, was die Genauigkeit allein oft nicht leistet.
Wie man zwischen Präzision und Recall wählt
Für Klassifikationsprobleme gibt es keine Kennzahl, die immer die beste ist. Auch Microsoft betont, dass die richtige Bewertungsmetrik davon abhängt, welche geschäftlichen oder anwendungsbezogenen Kosten die verschiedenen Fehlertypen verursachen.
Nutzen Sie diese Entscheidungsregel:
| Wenn das größere Risiko ist … | Priorisieren Sie … | Warum |
|---|---|---|
| Falsch positive Ergebnisse | Präzision | Positive Vorhersagen sollen besonders verlässlich sein. |
| Falsch negative Ergebnisse | Recall | Sie möchten möglichst viele tatsächlich positive Fälle erfassen. |
| Beide Fehlertypen sind relevant | Eine ausgewogene Bewertung | Sie sollten Präzision und Recall gemeinsam betrachten, statt nur eine Kennzahl zu optimieren. |
Ein praktisches Bewertungsgespräch sollte bei den Kosten beginnen, nicht bei den Kennzahlen. Fragen Sie:
- Was passiert, wenn das Modell einen negativen Fall als positiv markiert?
- Was passiert, wenn das Modell einen positiven Fall übersieht?
- Welcher Fehler ist teurer, schädlicher oder schwerer rückgängig zu machen?
- Muss der Entscheidungsschwellenwert angepasst werden, um diese Kosten abzubilden?
Erst nachdem diese Fragen beantwortet sind, sollte ein Team entscheiden, ob Präzision, Recall oder eine ausgewogene Sicht die Modellauswahl leiten soll.
Realistischer Fehlerfall: Optimierung der falschen Kennzahl
Stellen Sie sich einen hypothetischen Spamfilter vor, der fast vollständig auf Recall optimiert ist. Er fängt nahezu jede Spamnachricht ab, verschiebt aber auch viele legitime E-Mails in den Spamordner. Aus Recall-Sicht kann das Modell attraktiv wirken, weil nur wenige Spamnachrichten durchkommen. Aus Sicht der Nutzererfahrung kann es jedoch inakzeptabel sein, weil falsch positive Ergebnisse wichtige Nachrichten verbergen können.
Drehen wir das Problem nun um. Ein Spamfilter, der fast vollständig auf Präzision optimiert ist, kann sehr vorsichtig sein, was er als Spam kennzeichnet. Nutzer verlieren dann möglicherweise nur selten legitime E-Mails an den Spamordner, doch mehr Spam kann im Posteingang landen, weil das Modell unsichere Fälle übersieht.
Keines der beiden Modelle ist automatisch besser. Die bessere Wahl hängt von den relativen Kosten jedes Fehlertyps ab und davon, wie hoch die Toleranz gegenüber Fehlalarmen im Vergleich zu übersehenen positiven Fällen ist.
Wie verwandte Kennzahlen einzuordnen sind
Bewertungsberichte können auch Kennzahlen wie F1-Score, ROC-AUC und PR-AUC enthalten. Sie können bei einem breiteren Modellvergleich nützlich sein, sollten aber den direkten Blick auf Präzision, Recall, falsch positive Ergebnisse und falsch negative Ergebnisse nicht ersetzen.
Für Entscheidungen bleiben Präzision und Recall wertvoll, weil sie das Modellverhalten mit konkreten Folgen verbinden:
- Wer oder was wird markiert?
- Was wird übersehen?
- Welcher Fehler kostet mehr?
Über diese Fragen können Geschäfts- und Produktverantwortliche meist leichter nachdenken als über eine einzelne aggregierte Kennzahl.
Wichtigste Erkenntnisse
- Präzision misst, wie viele positive Vorhersagen korrekt waren.
- Recall misst, wie viele tatsächlich positive Fälle gefunden wurden.
- Die Formeln lauten: `precision = TP / (TP + FP)` und `recall = TP / (TP + FN)`.
- Die Genauigkeit kann bei unausgewogenen Datensätzen in die Irre führen, weil die Mehrheitsklasse das Ergebnis dominieren kann.
- Hohe Präzision bedeutet oft weniger falsch positive Ergebnisse, während hoher Recall oft weniger falsch negative Ergebnisse bedeutet.
- Die richtige Kennzahl hängt von der Anwendung und von den Kosten jedes Fehlertyps ab.
Wenn Sie ein KI-Klassifikationsmodell bewerten, fragen Sie nicht abstrakt, ob Präzision oder Recall besser ist. Fragen Sie, welchen Fehler Sie sich am wenigsten leisten können, und wählen Sie dann die Kennzahl, die diesen Fehler sichtbar macht.
Konfusionsmatrix selbst berechnen
Ändern Sie die Anzahlen und vergleichen Sie Präzision, Recall und Genauigkeit. Die Beispiele sind illustrativ, keine gemessenen KI-Ergebnisse.
Fälle insgesamt:
| Kennzahl | Ergebnis | Formel |
|---|---|---|
| Präzision | TP / (TP + FP) | |
| Recall | TP / (TP + FN) | |
| Genauigkeit | (TP + TN) / (TP + FP + FN + TN) | |
| F1 | 2TP / (2TP + FP + FN) |
