Ein Zeitreihenmodell wird nur dann ehrlich bewertet, wenn jede Vorhersage in der Validierung ausschließlich auf Informationen beruht, die zum jeweiligen Vorhersagezeitpunkt verfügbar gewesen wären. Deshalb ist nicht nur die Reihenfolge der Aufteilung wichtig; auch Vorverarbeitung, Feature Engineering, Zielwerttransformationen und Abstände zwischen Trainings- und Testzeiträumen müssen genauso sorgfältig geprüft werden.
Dieser Leitfaden richtet sich an Data Scientists, Analystinnen und Analysten sowie Machine-Learning-Engineers, die in Python Workflows für Prognosen oder zeitindizierte überwachte Lernverfahren entwickeln. Der Schwerpunkt ist praktisch: wie Prüfungen auf Datenleckage bei der Kreuzvalidierung von Zeitreihen so aufgebaut werden, dass das Validierungsergebnis nicht durch versehentlichen Zugriff auf die Zukunft geschönt wird.
Was Sie vermeiden wollen
Datenleckage durch Zukunftsdaten entsteht, wenn Informationen von nach dem Vorhersagezeitpunkt das Modelltraining, die Feature-Erstellung, die Vorverarbeitung oder die Modellauswahl beeinflussen.
Die offensichtliche Variante wäre, mit Märzdaten zu trainieren und mit Februardaten zu validieren. Leckage kann aber auch unauffälliger auftreten:
- Ein Skalierer wird vor der Kreuzvalidierung auf den gesamten Datensatz angepasst.
- Fehlende Werte werden mit Statistiken imputiert, die gemeinsam über Trainings- und Validierungszeilen berechnet wurden.
- Ein zentrierter gleitender Mittelwert nutzt zukünftige Beobachtungen auf beiden Seiten eines Zeitstempels.
- Ein Target Encoding wird global berechnet, sodass Validierungslabels die kodierten Trainingsfeatures beeinflussen.
- Durch Meldeverzug wären die neuesten Datensätze im Trainingsfenster in der Produktion tatsächlich noch nicht verfügbar.
Die Hinweise von scikit-learn zu häufigen Fallstricken warnen davor, Vorverarbeitungsparameter vor der Bewertung aus dem vollständigen Datensatz zu lernen; sie sollten nur aus den Trainingsdaten geschätzt werden. Außerdem werden konsistente Transformationen zwischen Trainings- und Testdaten empfohlen, häufig mithilfe einer Pipeline oder eines gleichwertigen, fold-lokalen Anpassungsprozesses. Das zugrunde liegende Prinzip erläutert die scikit-learn-Dokumentation zu häufigen Fallstricken und empfohlenen Vorgehensweisen.
Entscheidungsregel: Die Validierung muss wie der Produktionseinsatz aussehen
Wählen Sie das Validierungsdesign, indem Sie vier operative Fragen beantworten:
- Wann wird die Vorhersage erstellt? Zum Beispiel am Montagmorgen, bevor Umsätze der laufenden Woche bekannt sind.
- Welcher Prognosehorizont wird vorhergesagt? Ein Tag im Voraus, eine Woche im Voraus, die nächsten 30 Tage oder ein festes Ereignisfenster.
- Welche Daten sind zum Vorhersagezeitpunkt verfügbar? Berücksichtigen Sie Meldeverzüge, Verzögerungen bei Labels und die Frage, ob externe Variablen im Voraus bekannt sind.
- Wie oft wird das Modell neu trainiert? Täglich, wöchentlich, monatlich oder nur bei manueller Aktualisierung.
Ein Validierungs-Fold sollte diese Bedingungen simulieren. Wenn das Modell jeden Sonntagabend neu trainiert und für die Prognose der folgenden Woche eingesetzt wird, sollte jeder Fold mit den bis zu diesem Sonntag verfügbaren Daten trainieren und auf der nächsten Woche validieren. Treffen aktuelle Daten verspätet ein, lassen Sie eine Lücke. Wenn Features auf verzögerten Fenstern beruhen, prüfen Sie, dass das Lag-Fenster nicht in den Validierungszeitraum hineinreicht.
Diese Regel ist wichtiger als jede einzelne Kreuzvalidierungsklasse. Unterschiedliche Zeitreihenprobleme können unterschiedliche Einschränkungen erfordern, insbesondere wenn die Daten mehrere Entitäten, unregelmäßige Zeitstempel, verzögerte Labels oder Panelstrukturen enthalten.
Warum zufällige Aufteilungen und gewöhnliche k-fache Kreuzvalidierung bei Prognosen meist scheitern
Zufällige Trainings-/Testaufteilungen und gewöhnliche k-fache Kreuzvalidierung sind für Prognoseaufgaben meist ungeeignet, weil dabei spätere Beobachtungen im Training und frühere Beobachtungen in der Validierung landen können.
Bei einem gewöhnlichen tabellarischen Problem mit unabhängigen und identisch verteilten Daten kann eine zufällige Aufteilung sinnvoll sein. Bei einem zeitlich geordneten Prognoseproblem zerstört Randomisierung jedoch die historische Abfolge. Ein Modell könnte aus Beobachtungen lernen, die erst nach dem Zeitraum aufgetreten sind, den es vorhersagen soll. Selbst wenn der Algorithmus selbst den Zeitstempel nicht kennt, können Merkmalsverteilungen, Skalierungsparameter, Muster fehlender Werte und zielbezogene Merkmale Informationen aus der Zukunft enthalten.
Das bedeutet nicht, dass jedes überwachte Lernproblem mit Zeitindex gleich ist. Wenn die eigentliche Aufgabe aber darin besteht, künftige Beobachtungen aus vergangenen Beobachtungen vorherzusagen, sollte die Validierungsaufteilung die zeitliche Reihenfolge wahren.
Validierung mit rollierendem oder wachsendem Prognoseursprung verwenden
Ein sichereres Muster ist die Validierung mit Prognoseursprung. Zu jedem Ursprungsdatum wird mit den vor diesem Zeitpunkt verfügbaren Beobachtungen trainiert und mit den danach liegenden Beobachtungen getestet. Im nächsten Fold wird der Ursprung nach vorn verschoben und der Vorgang wiederholt.
Das Prognoselehrbuch Forecasting: Principles and Practice beschreibt die Zeitreihen-Kreuzvalidierung mit einer Abfolge von Prognoseursprüngen, bei der frühere Beobachtungen zum Trainieren und spätere Beobachtungen zum Testen verwendet werden. So erhalten Sie wiederholte historische Simulationen, ohne mit Beobachtungen zu trainieren, die nach dem Validierungsziel liegen.
Es gibt zwei gängige Varianten:
| Schema | Trainingsfenster | Wann es sinnvoll ist |
|---|---|---|
| Wachsendes Fenster | Beginnt am Anfang und wächst mit jedem Fold | Sinnvoll, wenn alle älteren Daten weiterhin relevant sind und das erneute Training in der Produktion die Historie fortlaufend erweitert |
| Rollierendes Fenster | Verwendet ein aktuelles Fenster fester Länge | Sinnvoll, wenn ältere Daten veraltet sein können oder das Training in der Produktion nur die jüngere Historie nutzt |
In beiden Fällen muss das Validierungsfenster nach dem Trainingsfenster liegen.
Wie TimeSeriesSplit hilft und was es nicht löst
`TimeSeriesSplit` von scikit-learn ist für zeitlich geordnete Daten konzipiert. In der Dokumentation heißt es, dass jede Testmenge zeitlich auf die zugehörige Trainingsmenge folgt. Standardmäßig sind aufeinanderfolgende Trainingsmengen Obermengen früherer Trainingsmengen; damit ist es ein Splitter im Stil eines wachsenden Fensters.
`TimeSeriesSplit` unterstützt außerdem den Parameter `gap`. Dieser Abstand schließt vor der Testmenge eine festgelegte Anzahl von Stichproben am Ende jeder Trainingsmenge aus. Das kann nützlich sein, wenn die neuesten Beobachtungen in der Produktion noch nicht verfügbar wären oder wenn Merkmalsfenster nahe der Grenze sonst die Validierungsgrenze überlappen könnten.
Allerdings macht `TimeSeriesSplit` nicht automatisch den gesamten Workflow sicher vor Leakage. Es steuert die Reihenfolge der Zeilenindizes, die es zurückgibt. Es weiß nicht, ob Sie bereits einen Skalierer auf dem gesamten Datensatz angepasst, ein zentriertes rollierendes Merkmal erstellt, fehlende Werte mithilfe künftiger Beobachtungen gefüllt oder vor der Aufteilung ein Target Encoding berechnet haben.
Nutzen Sie es als einen Bestandteil des Designs, nicht als vollständige Garantie gegen Leakage.
Ausgearbeitetes Beispiel: wöchentliche Nachfrageprognose ohne Zukunfts-Leakage
Das folgende Beispiel ist fiktiv und dient nur als Entwurfsreferenz. Es berichtet keine gemessene Modellleistung.
Szenario
Ein Einzelhändler möchte die wöchentliche Nachfrage nach einem Produkt eine Woche im Voraus prognostizieren. Jede Zeile entspricht einer Produktwoche.
- Zeitstempel: Woche mit Ende am Sonntag
- Prognosezeitpunkt: Sonntagabend nach Abschluss der laufenden Woche
- Zielgröße: Nachfrage in der nächsten Woche
- Rhythmus des erneuten Trainings: wöchentlich
- Verfügbare Merkmale: Kalenderwoche, der für die nächste Woche bekannte Preis und verzögerte Nachfragewerte aus bereits abgeschlossenen Vorwochen
- Nicht verfügbare Merkmale: die tatsächliche Nachfrage der nächsten Woche, jede rollierende Kennzahl, die die Nachfrage der nächsten Woche verwendet, sowie alle Daten, die bis Sonntagabend nicht gemeldet wurden
Angenommen, es gibt diese Wochenzeilen:
| Zeile | Woche bis | Beobachtete Nachfrage zum Prognosezeitpunkt verfügbar? |
|---|---|---|
| 1 | 2024-01-07 | Ja |
| 2 | 2024-01-14 | Ja |
| 3 | 2024-01-21 | Ja |
| 4 | 2024-01-28 | Ja |
| 5 | 2024-02-04 | Ja |
| 6 | 2024-02-11 | Ja |
| 7 | 2024-02-18 | Ja |
| 8 | 2024-02-25 | Ja |
| 9 | 2024-03-03 | Ja |
| 10 | 2024-03-10 | Ja |
| 11 | 2024-03-17 | Ja |
| 12 | 2024-03-24 | Ja |
Ziel ist es, Prognosen für jeweils eine Woche im Voraus zu bewerten. Für eine Validierungszeile mit dem Datum 2024-03-03 sollte das Modell nur Informationen verwenden, die spätestens zum vorherigen Prognosezeitpunkt verfügbar waren. Es darf keine Nachfrage vom 2024-03-03 oder später nutzen, um Merkmale für diese Prognose zu erstellen.
Beispielhafte Fold-Grenzen
Verwenden Sie ein Expanding-Window-Design mit einem Validierungshorizont von einer Woche:
| Fold | Trainingszeilen | Lücke | Validierungszeile | Bedeutung |
|---|---|---|---|---|
| 1 | 2024-01-07 bis 2024-02-04 | Keine | 2024-02-11 | Mit abgeschlossener Historie trainieren, die nächste Woche prognostizieren |
| 2 | 2024-01-07 bis 2024-02-11 | Keine | 2024-02-18 | Prognoseursprung um eine Woche nach vorn verschieben |
| 3 | 2024-01-07 bis 2024-02-18 | Keine | 2024-02-25 | Historische Simulation wiederholen |
| 4 | 2024-01-07 bis 2024-02-25 | Keine | 2024-03-03 | An einer späteren, unbekannten Woche validieren |
Wenn das Unternehmen die wöchentliche Nachfrage mit einer Woche Verzögerung meldet, ändert sich das Fold-Design. Für die Validierung am 2024-03-03 könnte die letzte nutzbare beobachtete Nachfrage vom 2024-02-18 stammen, nicht vom 2024-02-25. Fügen Sie in diesem Fall eine Lücke von einer Zeile ein oder setzen Sie die Meldeverzögerung anderweitig in der Logik zur Merkmalserzeugung durch.
Prüfung der Merkmalsverfügbarkeit
Prüfen Sie für jede Validierungszeile jedes einzelne Merkmal:
| Merkmal | Leakage-sichere Regel | Für die Validierungswoche 2024-03-03 zulässig? |
|---|---|---|
| `lag_1_demand` | Verwendet die Nachfrage vom 2024-02-25, sofern sie zum Prognosezeitpunkt verfügbar ist | Ja, aber nur ohne Meldeverzögerung |
| `lag_2_demand` | Verwendet die Nachfrage vom 2024-02-18 | Ja |
| `rolling_4_mean_demand` | Verwendet ausschließlich die vier vorherigen abgeschlossenen Wochen | Ja, wenn nur aus vergangenen Wochen berechnet |
| Zentrierter rollierender 4-Wochen-Mittelwert | Verwendet Wochen auf beiden Seiten der Zeile | Nein, weil künftige Nachfrage enthalten sein kann |
| Kalenderwoche | Aus dem Zeitstempel abgeleitet, im Voraus bekannt | In der Regel ja |
| Preis für die Prognosewoche | Nur zulässig, wenn der künftige Preis vor dem Vorhersagezeitpunkt bekannt ist | Hängt vom Geschäftsprozess ab |
Die Referenzantwort für dieses fiktive Szenario lautet: Eine Validierung mit wachsendem Fenster ist akzeptabel, wenn jedes Feature für jede Validierungszeile ausschließlich mit Informationen berechnet wird, die zum Vorhersagezeitpunkt des jeweiligen Folds verfügbar sind. Die Aufteilung allein reicht nicht aus; auch die Feature-Tabelle muss die zeitliche Reihenfolge einhalten.
Grenzfall
Angenommen, `rolling_4_mean_demand` wird vor der Kreuzvalidierung einmal mit einem zentrierten Fenster über den gesamten Datensatz berechnet. Die Fold-Grenzen können dann weiterhin chronologisch aussehen, doch das Feature für 2024-02-25 könnte Nachfragewerte vom 2024-03-03 oder später enthalten. Das ist Datenleckage. Berechnen Sie rollierende Features so neu, dass sie relativ zum jeweiligen Vorhersagezeitpunkt nur vergangene Beobachtungen verwenden.
Wiederverwendbares Prüfverfahren gegen Datenleckage
Nutzen Sie diese Prüfung, bevor Sie einem Validierungsergebnis für Zeitreihen vertrauen.
1. Den Vorhersagezeitpunkt festlegen
Halten Sie den genauen Zeitpunkt fest, zu dem das Modell laufen würde. Verwenden Sie keine vage Formulierung wie Ende der Woche, es sei denn, die Daten treffen tatsächlich zu diesem Zeitpunkt ein.
2. Den Zielhorizont festlegen
Legen Sie fest, ob das Modell die nächste Zeile, die nächsten sieben Tage, den nächsten Monat oder ein eigens definiertes künftiges Zeitfenster vorhersagt. Ihr Validierungsfenster sollte zu diesem Horizont passen.
3. Eine Tabelle zur Feature-Verfügbarkeit erstellen
Listen Sie für jedes Feature den spätesten Zeitstempel auf, den es verwenden darf. Das ist besonders wichtig für Lag-Features, rollierende Fenster, Aggregationen, Target-Encoding, externe Daten und Imputationslogik.
4. Chronologisch aufteilen
Verwenden Sie Folds mit rollierendem oder wachsendem Ursprung. Wenn Sie scikit-learn nutzen, kann `TimeSeriesSplit` chronologische Folds erzeugen, bei denen der Testsatz zeitlich auf den Trainingssatz folgt. Berücksichtigen Sie `test_size` und `gap` entsprechend dem tatsächlichen Horizont und der Latenz.
5. Vorverarbeitung innerhalb jedes Folds anpassen
Passen Sie Skalierer, Imputer, Feature-Selektoren, Encoder und Transformationen ausschließlich auf dem Trainingsanteil an. Wenden Sie die gelernte Transformation anschließend auf den Validierungsanteil dieses Folds an. Eine scikit-learn-`Pipeline` oder ein gleichwertiger fold-lokaler Prozess hilft, dieses Muster durchzusetzen.
6. Features fold-lokal erzeugen oder prüfen
Wenn Features aus dem Zielwert oder aus zeitabhängigen Aggregaten erstellt werden, prüfen Sie, dass Validierungszeilen keine späteren Beobachtungen verwenden. Je nach Workflow kann das bedeuten, Features in jedem Fold separat zu erzeugen oder Feature-Code zu verwenden, der die Quellzeilen ausdrücklich nach Zeitstempel begrenzt.
7. Den abschließenden Testzeitraum unangetastet lassen
Kreuzvalidierung hilft dabei, Modelle zu vergleichen und Entscheidungen abzustimmen. Ein abschließender chronologischer Holdout-Zeitraum bleibt sinnvoll, wenn Sie unter der gewählten historischen Simulation eine unverzerrte letzte Prüfung benötigen.
Realistischer Fehlerfall: eine sauber wirkende Aufteilung, die dennoch leckt
Betrachten Sie diesen Workflow:
- Sortieren Sie die Daten nach Datum.
- Berechnen Sie Lag- und rollierende Features auf dem gesamten Datensatz.
- Passen Sie einen Imputer und einen Skalierer auf allen Zeilen an.
- Führen Sie `TimeSeriesSplit` aus.
- Trainieren und bewerten Sie in jedem Fold ein Modell.
Die Aufteilung ist chronologisch, aber der Workflow kann trotzdem Datenleckage verursachen.
Imputer und Skalierer haben aus Validierungszeilen gelernt, weil sie vor der Aufteilung angepasst wurden. Auch die rollierenden Features können lecken, wenn sie zentriert waren, per Backfill aufgefüllt, mit späteren Werten interpoliert oder auf andere Weise für künftige Zeilen geöffnet wurden. `TimeSeriesSplit` kann diese Probleme nicht erkennen, weil sie entstanden sind, bevor der Splitter die Fold-Indizes erzeugt hat.
Eine sicherere Variante ist:
- Sortieren Sie die Daten nach Zeitstempel.
- Definieren Sie chronologische Folds.
- Beschränken Sie in jedem Fold die Trainings- und Validierungszeilen entsprechend dem Vorhersagezeitpunkt.
- Berechnen Sie zeitabhängige Merkmale ausschließlich aus zulässigen historischen Zeilen.
- Passen Sie die Vorverarbeitung nur an die Trainingsdaten des jeweiligen Folds an.
- Transformieren Sie die Validierungsdaten mit den angepassten Vorverarbeitungsobjekten.
- Trainieren Sie auf dem Trainings-Fold und bewerten Sie auf dem Validierungs-Fold.
Diese Grundregel verhindert viele Fehler durch Datenleckagen bei der Kreuzvalidierung von Zeitreihen.
So wählen Sie den gap-Parameter
Verwenden Sie eine Lücke, wenn die Zeilen unmittelbar vor der Validierung in der Produktion nicht nutzbar wären oder wenn die Merkmalslogik eine Trennung zwischen Training und Validierung erfordert.
Häufige Gründe sind:
- Meldeverzug: Die Daten von gestern oder der vergangenen Woche sind zum Zeitpunkt der Vorhersage nicht verfügbar.
- Label-Verzug: Das Ergebnis wird erst später beobachtet als der Zeitstempel des Merkmals.
- Überlappung von Merkmalsfenstern: Verzögerte oder rollierende Merkmale nahe der Grenze könnten versehentlich Werte aus dem Validierungszeitraum einbeziehen, wenn sie nicht sorgfältig implementiert sind.
- Betriebliche Einschränkungen: Das bereitgestellte Modell wird auf einem eingefrorenen Datenstand trainiert, der die neuesten Datensätze ausschließt.
Die Lücke sollte der Zahl der Stichproben entsprechen, die nicht verfügbar oder nicht sicher verwendbar sind, und nicht einem willkürlichen Sicherheitspuffer. Wenn die Zeilen tägliche Daten darstellen und der Meldeverzug zwei Tage beträgt, kann eine Lücke von zwei Zeilen angemessen sein. Wenn die Zeilen wöchentliche Daten darstellen und der Verzug eine Woche beträgt, kann eine Lücke von einer Zeile angemessen sein.
Die Lücke hat jedoch eine eng begrenzte Aufgabe: Sie trennt Trainings- und Testindizes. Sie behebt keine global angepasste Vorverarbeitung, keine mit Validierungslabels berechneten Zielkodierungen und keine rollierenden Statistiken, in die bereits zukünftige Werte eingeflossen sind.
Grenzen und Interpretation
Die Kreuzvalidierung von Zeitreihen schätzt die Leistung unter der von Ihnen entworfenen historischen Simulation. Sie garantiert keine künftige Leistung in der Produktion.
Die Schätzung kann weiterhin irreführend sein, wenn sich die Zukunft wegen Strukturbrüchen, Produktänderungen, wirtschaftlicher Verschiebungen, neuer Meldeprozesse, einer begrenzten Historie oder einer Verteilungsverschiebung von den historischen Folds unterscheidet. Eine Validierungsanordnung, die Datenleckagen aus der Zukunft vollständig verhindert, kann dennoch die Geschäftsumgebung von morgen verfehlen.
Der beste praktische Maßstab ist nicht Perfektion, sondern Nachvollziehbarkeit: Für jede Validierungsvorhersage sollten Sie auf die Trainingszeilen, die Quellzeilen der Merkmale, die Daten zur Anpassung der Vorverarbeitung und den Vorhersagezeitpunkt verweisen können. Wenn ein Teil dieser Kette in die Zukunft reicht, ist das Validierungsergebnis keine verlässliche Schätzung der Prognoseleistung.
