Themen, die einen zweiten Blick verdienen
VIVA PARADOX.Unabhängige Geschichten, verständlich erzählt.
Viva Paradox · DE

Was Overfitting beim maschinellen Lernen bedeutet: ein praxisnaher Leitfaden

Conceptual editorial artwork: Was Overfitting beim maschinellen Lernen bedeutet: ein praxisnaher Leitfaden

Overfitting beim maschinellen Lernen entsteht, wenn ein Modell so eng an die Trainingsdaten angepasst wird, dass es sich nicht gut auf neue Beispiele übertragen lässt. Während der Entwicklung kann das Modell stark wirken, doch seine Leistung sinkt bei Validierungsdaten, Testdaten oder realen Eingaben, die es zuvor nicht gesehen hat.

Für Studierende, Analystinnen und Analysten, Softwareentwicklerinnen und -entwickler sowie Produktteams ist der praktische Kernpunkt: Beurteilen Sie ein Modell nicht allein nach seiner Trainingsleistung. Ein Modell, das Eigenheiten historischer Daten auswendig lernt, kann in einem Notebook genau erscheinen und nach der Bereitstellung dennoch unzuverlässige Vorhersagen liefern.

Ein kleines Overfitting-Beispiel reproduzieren

Diese lokal ausgeführte synthetische Polynomrechnung ist vom Hauspreisbeispiel im Artikel getrennt. Sie ist weder ein Produktbenchmark noch ein echter Wohnungsdatensatz.

Die sechs Trainingseingaben sind −1, −0,6, −0,2, 0,2, 0,6, 1. Zu x² wird festes Rauschen addiert: 0,08, −0,12, 0,10, −0,10, 0,12, −0,08. Polynome vom Grad 2 und 5 werden mit kleinsten Quadraten angepasst. Bei −0,9, −0,7, …, 0,9 erfolgt die Validierung gegen x². MSE ist der mittlere quadratische Vorhersagefehler.

GradTrainings-MSEValidierungs-MSE
20.010080.000132
5< 1e-200.0223906162

Grad 5 passt die sechs verrauschten Trainingspunkte nahezu exakt an, hat aber einen höheren Validierungsfehler. Grad 2 erreicht Trainings-MSE 0,01008 und Validierungs-MSE 0,000132. Der Validierungs-MSE von Grad 5 liegt bei etwa 0,0223906162. In diesem Beispiel wählt der kleinere Trainingsfehler nicht das besser generalisierende Modell.

Funktion und Rauschen sind erfunden. Die Validierungsziele sind absichtlich rauschfrei, um den Effekt zu isolieren; reale Zielwerte müssen das nicht sein. Das beweist nicht, dass Grad 2 oder einfachere Modelle immer gewinnen. Eine Modellauswahl mit diesen Validierungswerten liefert keine unabhängige abschließende Testschätzung.

Python-Quellcode herunterladen — keine Zusatzpakete · Referenzberechnungen als JSON

Was Overfitting bedeutet

Ein Machine-Learning-Modell wird darauf trainiert, aus Beispielen Muster zu lernen. Overfitting tritt auf, wenn das Modell Details lernt, die zu spezifisch für den Trainingsdatensatz sind, etwa Rauschen, zufällige Korrelationen oder ungewöhnliche Fälle, die das umfassendere Problem nicht repräsentieren.

Der Machine Learning Crash Course von Google erklärt Overfitting als eine Situation, in der ein Modell die Trainingsdaten gut abbildet, aber nicht wirksam auf neue Beispiele verallgemeinert. Google betont außerdem das Verhältnis von Training und Validierung: Wenn sich die Trainingsleistung weiter verbessert, während die Validierungsleistung zurückbleibt oder schlechter wird, kann das Modell overfitten.

Diese Unterscheidung ist wichtig. Eine hohe Trainingsgenauigkeit allein beweist noch kein Overfitting. Ein Modell kann aus berechtigten Gründen bei Trainingsdaten gut abschneiden. Das Warnsignal ist die Lücke zwischen dem Verhalten des Modells bei Daten, aus denen es gelernt hat, und bei Daten, aus denen es nicht gelernt hat.

Warum Overfitting wichtig ist

Overfitting macht ein Modell außerhalb seiner Entwicklungsumgebung zu einem schlechten Entscheidungssystem. Ein Betrugsmodell kann Eigenheiten der Transaktionen des letzten Quartals lernen. Ein Empfehlungsmodell kann vorübergehendes Nutzerverhalten lernen. Ein Modell für Hauspreise kann sich einige ungewöhnliche Angebote merken, statt breitere Marktbeziehungen zu erfassen.

Die Folge ist falsches Vertrauen. Während des Trainings können die Kennzahlen beeindruckend aussehen. Im Produktivbetrieb kann das Modell schlechtere Vorhersagen treffen, weil neue Nutzer, Datensätze, Dokumente, Angebote oder Bilder nicht zu den engen Details passen, die es auswendig gelernt hat.

Die Leitlinien von Microsoft zu Azure Machine Learning behandeln Overfitting als praktische Fallstricke des maschinellen Lernens und verknüpfen Vorbeugung mit Evaluationsverfahren, nicht nur mit Modelldefinitionen. Insbesondere weist Microsoft auf die Bedeutung von Validierungs- und Testverfahren hin, weil eine gute Trainingsleistung allein kein ausreichender Beleg dafür ist, dass ein Modell bei ungesehenen Daten gut abschneiden wird.

Trainingsdaten, Validierungsdaten und Testdaten im Vergleich

Um Overfitting zu erkennen, müssen Sie die Rolle jedes Datensatzes verstehen.

  • Trainingsdaten sind die Daten, mit denen das Modell Muster lernt. Die Parameter des Modells werden auf Grundlage dieser Daten angepasst.
  • Validierungsdaten werden während der Entwicklung genutzt, um Modelle zu vergleichen, Einstellungen abzustimmen und zu entscheiden, ob sich die Leistung bei Daten verbessert, auf denen das Modell nicht trainiert wurde.
  • Testdaten bleiben in der Regel einer abschließenden Bewertung vorbehalten, nachdem die Modellentscheidungen getroffen wurden. Sie liefern eine weniger verzerrte Schätzung dafür, wie das fertige Modell bei ungesehenen Daten abschneiden könnte.

Die genaue Aufteilung hängt vom Projekt, von der Größe des Datensatzes und vom Modellierungsansatz ab. Wichtiger als der Prozentsatz ist das Prinzip: Halten Sie einen Teil der Daten vom Training getrennt, damit Sie die Generalisierungsfähigkeit bewerten können.

Woran man Overfitting erkennt

Ein typisches Overfitting-Muster sieht so aus:

  1. Der Trainingsfehler sinkt weiter, oder die Trainingsgenauigkeit steigt weiter.
  2. Der Validierungsfehler verbessert sich nicht mehr, verbessert sich nur geringfügig oder beginnt sich zu verschlechtern.
  3. Die Lücke zwischen Trainingsleistung und Validierungsleistung wird größer.

Dieses Muster deutet darauf hin, dass das Modell die Trainingsbeispiele immer besser abbildet, mit neuen Beispielen aber nicht besser zurechtkommt. Googles Leitfaden zu Overfitting hebt diese Lücke zwischen Training und Validierung als praktisches Warnsignal hervor.

Es gibt keinen allgemeingültigen Schwellenwert, bei dem eine bestimmte Lücke immer Overfitting bedeutet. Wie groß eine noch vertretbare Lücke ist, hängt von der Metrik, der Domäne, der Größe des Datensatzes, dem Modelltyp und den Kosten von Fehlern ab. Für ein medizinisches Screening-Modell, ein Prognosemodell im Einzelhandel und ein Filmempfehlungsmodell können jeweils andere Maßstäbe gelten.

Durchgerechnetes Beispiel: Vorhersage von Hauspreisen

Das folgende Beispiel ist hypothetisch. Die Eingaben und Zahlen dienen nur der Erklärung; sie sind keine Messergebnisse aus einem tatsächlich durchgeführten Experiment.

Stellen Sie sich vor, Sie entwickeln ein Modell, das Hauspreise anhand von Merkmalen wie diesen vorhersagen soll:

  • Wohnfläche
  • Anzahl der Schlafzimmer
  • Postleitzahl
  • Grundstücksgröße
  • Baujahr
  • Status kürzlicher Renovierungen

Sie trainieren zwei Modelle mit einem kleinen Datensatz früherer Immobilienangebote.

Modell Trainingsverhalten Validierungsverhalten Einordnung
Modell A: einfaches Modell Macht bei Trainingsangeboten einige Fehler Macht bei Validierungsangeboten ähnliche Fehler Lernt möglicherweise allgemeine Muster, könnte aber trotzdem noch zu einfach sein
Modell B: sehr komplexes Modell Passt fast exakt zu den Trainingsangeboten Schneidet bei Validierungsangeboten schlechter ab Merkt sich möglicherweise Eigenheiten des Trainingsdatensatzes

Ein sinnvoller Prüfschritt besteht darin zu fragen, was Modell B möglicherweise gelernt hat. Angenommen, mehrere teure Häuser in den Trainingsdaten hatten zufällig eine seltene Kombination gemeinsam: eine bestimmte Postleitzahl, ein ungewöhnlich großes Grundstück und eine kürzliche Renovierung. Ein komplexes Modell könnte diese Kombination als nahezu sicheres Zeichen für einen hohen Preis behandeln, selbst wenn das Muster zufällig ist oder auf zu wenigen Beispielen beruht.

Musterantwort: Wenn der Trainingsfehler von Modell B weiter sinkt, während sein Validierungsfehler steigt, sollten Sie Overfitting untersuchen, bevor Sie das Modell komplexer machen oder länger trainieren.

Begründung: Das Modell verbessert sich bei Beispielen, aus denen es bereits gelernt hat, wird aber bei Beispielen schlechter, die vom Training zurückgehalten wurden. Das ist das praktische Muster, das mit Overfitting verbunden ist.

Grenzfall: Wenn der Validierungsdatensatz zu klein ist oder die Häuser, die das Modell später sehen wird, nicht repräsentiert, ist die Schlussfolgerung weniger zuverlässig. Ein irreführender Validierungsdatensatz kann Overfitting überzeichnen, verbergen oder Sie zur falschen Korrektur verleiten.

Häufige Ursachen von Overfitting

Overfitting entsteht meist durch ein Missverhältnis zwischen Modellflexibilität, Datenqualität und Evaluationsdesign.

Ein Modell ist für die verfügbaren Daten zu komplex

Ein sehr flexibles Modell kann feine Zusammenhänge erfassen, aber auch Rauschen lernen. Wenn der Trainingsdatensatz klein oder eng begrenzt ist, kann zusätzliche Komplexität eher dazu führen, dass das Modell auswendig lernt, statt zu verallgemeinern.

Die Trainingsdaten sind nicht repräsentativ

Ein Modell, das nur mit einem schmalen Ausschnitt der Realität trainiert wurde, kann anderswo schlecht abschneiden. Ein Modell, das etwa nur mit Daten aus einer Region, Saison, Kundengruppe oder Zeitspanne trainiert wurde, kann Schwierigkeiten bekommen, wenn sich die Bedingungen ändern.

Merkmale enthalten Rauschen oder zufällige Korrelationen

Manche Eingabemerkmale können in den Trainingsdaten aus Gründen mit der Zielgröße korrelieren, die später nicht mehr gelten. Das Modell kann solche zufälligen Zusammenhänge als bedeutsam behandeln.

Datenleckage verzerrt die Bewertung

Datenleckage entsteht, wenn Informationen, die zum Zeitpunkt der Vorhersage nicht verfügbar sind, in das Training oder die Bewertung gelangen. Dadurch kann die Modellleistung unrealistisch gut aussehen. Datenleckage kann auch zusammen mit Überanpassung auftreten oder sie verdecken, weil die Bewertung dann nicht mehr das tatsächliche Vorhersageproblem widerspiegelt.

Das Modell wird zu stark auf den Validierungssatz abgestimmt

Validierungsdaten helfen bei der Auswahl von Modellen. Wenn jedoch jede Entscheidung immer wieder auf denselben Validierungssatz hin optimiert wird, wird der Validierungswert weniger verlässlich. In diesem Fall kann der Modellentwicklungsprozess beginnen, sich indirekt an den Validierungssatz anzupassen.

So lässt sich Überanpassung verringern

Keine Maßnahme garantiert eine bessere Leistung in der Praxis, doch mehrere Vorgehensweisen können das Risiko senken.

Bei Bedarf ein einfacheres Modell verwenden

Wenn sich die Validierungsleistung verschlechtert, sobald das Modell komplexer wird, sollte ein einfacheres Modell ausprobiert werden. Einfachere Modelle haben weniger Möglichkeiten, zufällige Details auswendig zu lernen. Der Kompromiss besteht darin, dass ein Modell auch zu einfach werden und unteranpassen kann. Deshalb sollte die Validierungsleistung verglichen werden, statt grundsätzlich anzunehmen, dass einfacher immer besser ist.

Regularisierung anwenden

Regularisierung fügt eine Einschränkung oder Strafkomponente hinzu, die übermäßig komplexe Muster unattraktiver macht. In der Praxis kann sie einem Modell helfen, sich stärker auf allgemeinere Zusammenhänge zu konzentrieren statt auf extreme Anpassungen an die Trainingsdaten. Welche Regularisierung geeignet ist, hängt vom Modell und von der Aufgabe ab.

Das Training früher beenden

Bei Modellen, die über viele Iterationen trainiert werden, kann Early Stopping helfen. Wenn sich die Validierungsleistung nicht mehr verbessert, während die Trainingsleistung weiter steigt, kann ein früheres Beenden die Generalisierungsfähigkeit besser erhalten.

Kreuzvalidierung einsetzen, wenn sie zum Projekt passt

Bei der Kreuzvalidierung wird das Modell über mehrere Aufteilungen in Trainings- und Validierungsdaten hinweg bewertet. Das kann besonders bei begrenzten Datensätzen ein stabileres Bild liefern als eine einzelne Aufteilung. Schlechte Daten werden dadurch nicht behoben, aber es lässt sich erkennen, ob die Leistung stark von einer besonders günstigen oder ungünstigen Aufteilung abhängt.

Merkmale auf Datenleckage und instabile Signale prüfen

Es sollte geprüft werden, ob die Merkmale tatsächlich verfügbar wären, wenn das Modell Vorhersagen trifft. Ebenso sollte geprüft werden, ob ein Merkmal eine stabile Beziehung beschreibt oder nur ein vorübergehendes Artefakt des Datensatzes ist.

Die Daten verbessern

Repräsentativere Daten können einem Modell helfen, Muster zu lernen, die sich verallgemeinern lassen. Das kann bedeuten, Beispiele aus weiteren Nutzergruppen, Zeiträumen, Regionen, Produktkategorien oder Betriebsbedingungen zu sammeln. Mehr Daten sind nicht automatisch besser, wenn sie verrauscht, verzerrt, doppelt vorhanden oder aus der falschen Verteilung stammen.

Einen abschließenden Testsatz bis zum Ende zurückhalten

Ein separater Testsatz hilft, das fertige Modell zu bewerten, nachdem die wichtigsten Entscheidungen getroffen wurden. Dadurch sinkt das Risiko, dass wiederholte Entwicklungsentscheidungen zu einer Überanpassung an den Validierungssatz geführt haben.

Eine praktische Entscheidungsregel

Diese Regel sollte während der Modellentwicklung angewendet werden:

Wenn sich die Validierungsleistung verschlechtert, während sich die Trainingsleistung weiter verbessert, sollte die Modellkomplexität nicht weiter erhöht werden. Stattdessen sollten Überanpassung, Datenleckage und die Qualität der Validierungsdaten untersucht werden.

Diese Regel beweist nicht in jedem Fall eine Überanpassung. Sie zeigt, was als Nächstes geprüft werden sollte. Fragen Sie:

  • Ist der Validierungssatz repräsentativ für künftige Daten?
  • Gibt es mögliche Datenleckage aus der Zielvariable oder aus zukünftigen Informationen?
  • Hat sich die Leistung verschlechtert, nachdem Komplexität, Merkmale oder Trainingszeit hinzugefügt wurden?
  • Konzentrieren sich die Fehler auf ein bestimmtes Segment?
  • Würde ein einfacheres oder stärker regularisiertes Modell auf den Validierungsdaten besser abschneiden?

Ziel ist nicht, den Trainingswert zu maximieren. Ziel ist, ein Modell zu entwickeln, das mit den Daten, auf die es tatsächlich treffen wird, zuverlässig arbeitet.

Realistischer Fehlerfall: Wenn die Validierung in die Irre führt

Ein Validierungsdatensatz ist nur dann nützlich, wenn er das tatsächliche Vorhersageproblem abbildet. Angenommen, ein Modell zur Vorhersage von Kundenabwanderung wird mit historischen Nutzerdaten trainiert und mit Nutzern aus demselben Zeitraum validiert. Wenn das Unternehmen später Preise, Onboarding oder Produktfunktionen ändert, können sich künftige Nutzer anders verhalten. Das Validierungsergebnis kann für die alten Daten zutreffend gewesen sein, für die neue Umgebung aber weniger aussagekräftig.

Auch das Gegenteil ist möglich. Ein Validierungsdatensatz kann ungewöhnlich schwierig, ungewöhnlich klein oder aus einer anderen Grundgesamtheit stammen als der vorgesehenen Einsatzumgebung. In diesem Fall kann er ein durchaus brauchbares Modell so erscheinen lassen, als sei es überangepasst.

Deshalb sollte die Analyse von Overfitting nicht bei einer Lücke in den Kennzahlen stehen bleiben. Diese Lücke ist ein Signal. Der nächste Schritt besteht darin, Datenaufteilung, Merkmalsgestaltung, Modellentscheidungen und vorgesehenen Einsatz zu prüfen.

Overfitting im Vergleich zu Underfitting

Overfitting und Underfitting sind entgegengesetzte Fehlermuster.

Problem Trainingsleistung Validierungsleistung Was es in der Regel bedeutet
Overfitting Stark Schwächer Das Modell hat trainingsspezifische Details gelernt, die sich nicht verallgemeinern lassen
Underfitting Schwach Schwach Das Modell ist zu einfach, unzureichend spezifiziert oder es fehlen ihm wichtige Informationen

Ein unterangepasstes Modell hat aus den Trainingsdaten nicht genug gelernt. Ein überangepasstes Modell hat zu viele falsche Details aus den Trainingsdaten gelernt. In beiden Fällen hängt die Lösung vom Verhalten bei der Validierung und von der Fehleranalyse ab, nicht von einer einzelnen Kennzahl für sich genommen.

Fazit

Overfitting im maschinellen Lernen ist ein Generalisierungsproblem: Das Modell passt gut zu den Trainingsdaten, schneidet bei neuen Daten oder Validierungsdaten aber schlechter ab. Das deutlichste Warnzeichen ist eine größer werdende Lücke, bei der sich die Trainingsleistung verbessert, während die Validierungsleistung stagniert oder sinkt.

Wenn das geschieht, sollte man nicht einfach länger trainieren oder das Modell komplexer machen. Prüfen Sie die Datenaufteilung, suchen Sie nach Datenlecks, kontrollieren Sie die Merkmale, erwägen Sie Regularisierung oder ein einfacheres Modell und vergewissern Sie sich, dass die Validierungsdaten das reale Problem abbilden. Das beste Modell ist nicht dasjenige, das die Vergangenheit am genauesten auswendig gelernt hat, sondern dasjenige, das mit neuen Beispielen zuverlässig umgehen kann.