Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

未来データで学習せずに時系列モデルを評価する方法

Conceptual editorial artwork: 未来データで学習せずに時系列モデルを評価する方法

時系列モデルを正直に評価できるのは、検証時の各予測が、その予測時点で利用できたはずの情報だけに基づいて行われている場合に限られます。つまり、分割の順序が重要であるだけでなく、前処理、特徴量エンジニアリング、目的変数の変換、学習期間とテスト期間の間隔についても同じ厳しさで確認する必要があります。

このガイドは、Pythonで予測や時刻をインデックスにした教師あり学習ワークフローを構築するデータサイエンティスト、アナリスト、機械学習エンジニア向けです。実務に重点を置き、将来の情報を誤って使ってしまい検証結果が過大評価されないよう、時系列交差検証でデータリークをどう確認するかを扱います。

避けるべきこと

未来データの漏えいは、予測タイムスタンプより後の情報が、モデルの学習、特徴量の作成、前処理、またはモデル選択に影響するときに起こります。

分かりやすい例は、3月のデータで学習し、2月のデータで検証することです。しかし、漏えいはもっと目立たない形でも起こります。

  • 交差検証の前に、データセット全体でスケーラーを適合している。
  • 学習行と検証行を合わせて計算した統計量を使い、欠損値を補完している。
  • 中央揃えの移動平均は、あるタイムスタンプの前後の観測値を使うため、将来の観測値を含むことがあります。
  • ターゲットエンコーディングを全体で計算しているため、検証ラベルがエンコード済みの学習用特徴量に影響している。
  • 報告の遅れにより、学習ウィンドウ内の最新レコードが、本番環境では実際には利用できない。

scikit-learnの「よくある落とし穴」に関するガイダンスは、前処理のパラメータは評価前にデータセット全体から学習するのではなく、学習データだけから学習すべきだと警告しています。また、学習データとテストデータの間で変換を一貫させることも推奨しており、多くの場合はパイプライン、または各フォールド内で適合を行う同等の手順を使います。この基本原則については、scikit-learnドキュメントのよくある落とし穴と推奨される実践を参照してください。

判断基準:検証を本番環境に近づける

検証設計は、次の4つの運用上の問いに答えて選びます。

  1. 予測はいつ行われますか。例えば、当週の売上がまだ一切分からない月曜朝です。
  2. どの予測期間を予測しますか。1日先、1週間先、次の30日間、または固定されたイベント期間などです。
  3. 予測時点でどのデータが利用できますか。報告の遅れ、ラベルの遅れ、外部変数が事前に分かっているかどうかを含めます。
  4. モデルはどの頻度で再学習されますか。毎日、毎週、毎月、または手動で更新したときだけ、などです。

検証フォールドは、これらの条件を再現する必要があります。モデルを毎週日曜夜に再学習し、翌週の予測に使うのであれば、各フォールドではその日曜までに利用可能なデータで学習し、翌週で検証します。直近データの到着が遅れる場合は、間隔を空けます。特徴量がラグ付きウィンドウに依存する場合は、そのラグウィンドウが検証期間に入り込んでいないことを確認します。

このルールは、特定の交差検証クラスを選ぶことよりも重要です。時系列の問題によって必要な制約は異なります。特に、データに複数のエンティティ、不規則なタイムスタンプ、遅延したラベル、またはパネル構造が含まれる場合はそうです。

予測でランダム分割や通常のk分割交差検証がたいてい失敗する理由

ランダムな学習/テスト分割や通常のk分割交差検証は、予測タスクには通常適していません。後の観測値が学習に入り、前の観測値が検証に入る可能性があるためです。

通常の独立同分布を仮定できる表形式データの問題では、ランダム化が役立つことがあります。しかし、時系列に沿った予測問題では、ランダム化によって履歴の順序が崩れます。モデルが、予測対象期間より後に発生した観測値から学習してしまう可能性があります。アルゴリズム自体がタイムスタンプを知らなくても、特徴量の分布、スケーリングのパラメータ、欠損値のパターン、ターゲットに関連する特徴量が、未来の情報を含んでいる場合があります。

これは、時間インデックスを持つ教師あり学習の問題がすべて同じだという意味ではありません。ただし、実際の課題が過去の観測値から未来の観測値を予測することであるなら、検証の分割では時間の順序を保つ必要があります。

ローリング型または拡張型の予測起点検証を使う

より安全な方法は、予測起点に基づく検証です。各起点日で、その起点より前に利用できる観測値を使って学習し、その後の観測値でテストします。次のフォールドでは起点を先へ進め、同じ手順を繰り返します。

予測の教科書『Forecasting: Principles and Practice』では、予測起点を連ねて行う時系列クロスバリデーションについて説明しています。そこでは、より前の観測値を学習に使い、より後の観測値をテストに使います。これにより、検証ターゲットより後に発生する観測値で学習することなく、履歴上のシミュレーションを繰り返せます。

一般的なバリエーションは2つあります。

方式 学習ウィンドウ 使う場面
拡張ウィンドウ 先頭から始め、フォールドごとに広げます 古いデータもすべて有用で、本番環境での再学習が履歴を蓄積していく場合に有用です
ローリングウィンドウ 固定長の直近ウィンドウを使います 古いデータが陳腐化する可能性がある場合や、本番環境の学習で直近の履歴だけを使う場合に有用です

どちらの場合も、検証ウィンドウは学習ウィンドウの後に置く必要があります。

TimeSeriesSplitが役立つ点と、解決できない点

scikit-learnの`TimeSeriesSplit`は、時系列順のデータを扱うために設計されています。ドキュメントでは、各テストセットは対応する学習セットの後の時点に置かれると説明されています。デフォルトでは、後続の学習セットはそれ以前の学習セットを包含するため、拡張ウィンドウ型の分割器になります。

`TimeSeriesSplit`は`gap`パラメータにも対応しています。gapは、各学習セットの末尾から、テストセットの前に指定数のサンプルを除外します。これは、直近の観測値が本番環境ではまだ利用できない場合や、境界付近の特徴量ウィンドウが検証の境界をまたいでしまう可能性がある場合に有用です。

ただし、`TimeSeriesSplit`を使っても、ワークフロー全体のデータリークを自動的に防げるわけではありません。これは返す行インデックスの順序を制御するだけです。分割前にすでにデータセット全体でスケーラーを適合したのか、中央揃えのローリング特徴量を作ったのか、将来の観測値を使って欠損値を埋めたのか、ターゲットエンコーディングを計算したのかまでは把握しません。

完全なリーク防止の保証としてではなく、設計の一部として使ってください。

説明用の例:未来リークを避けた週次需要予測

次の例は架空のもので、設計上の参考として示すだけです。測定されたモデル性能を報告するものではありません。

シナリオ

ある小売業者が、ある商品の週次需要を1週間先まで予測したいとします。各行は1つの商品・週を表します。

  • タイムスタンプ:日曜日締めの週
  • 予測時点:当週が締まった後の日曜日の夜
  • ターゲット:翌週の需要
  • 再学習の頻度:週次
  • 利用可能な特徴量:暦週、翌週について既知の価格、完了済みの過去週から得た需要のラグ
  • 利用できない特徴量:翌週の実需要、翌週の需要を使うローリング統計量、日曜夜までに報告されていないデータ

次の週次行を仮定します。

行 週終了日 予測時点までに観測需要を利用可能か
1 2024-01-07 はい
2 2024-01-14 はい
3 2024-01-21 はい
4 2024-01-28 はい
5 2024-02-04 はい
6 2024-02-11 はい
7 2024-02-18 はい
8 2024-02-25 はい
9 2024-03-03 はい
10 2024-03-10 はい
11 2024-03-17 はい
12 2024-03-24 はい

目的は、1週間先の予測を評価することです。日付が2024-03-03の検証行では、モデルは少なくとも直前の予測時点までに利用可能だった情報を使うべきです。その予測の特徴量を作るために、2024-03-03以降の需要を使ってはいけません。

フォールド境界の例

検証期間を1週間先とする拡張ウィンドウ設計を使います。

フォールド 学習行 ギャップ 検証行 意味
1 2024-01-07から2024-02-04まで なし 2024-02-11 完了済みの履歴で学習し、翌週を予測
2 2024-01-07から2024-02-11まで なし 2024-02-18 起点を1週間先へ進める
3 2024-01-07から2024-02-18まで なし 2024-02-25 過去のシミュレーションを繰り返す
4 2024-01-07から2024-02-25まで なし 2024-03-03 後続の未見の週で検証

事業上、週次需要の報告が1週間遅れる場合、フォールド設計は変わります。2024-03-03を検証する場合、利用できる最新の観測需要は2024-02-25ではなく、2024-02-18かもしれません。その場合は、1行分のギャップを追加するか、特徴量生成ロジックの中で報告遅延を別の方法で強制します。

特徴量の利用可能性チェック

各検証行について、すべての特徴量を確認します。

特徴量 リークを防ぐ規則 検証週2024-03-03で使用可能か
`lag_1_demand` 予測時点で利用可能であれば2024-02-25の需要を使う 報告遅延がない場合のみ可
`lag_2_demand` 2024-02-18の需要を使う 可
`rolling_4_mean_demand` 直前の完了済み4週間だけを使う 過去週だけから計算している場合は可
中心化4週ローリング平均 その行の前後両側の週を使う 不可。将来の需要を含む可能性があるため
暦週 タイムスタンプから導出され、事前に分かっている 通常は可
予測対象週の価格 将来の価格が予測時点より前に分かっている場合に限り使用できます 業務プロセスによります

この架空の設定に対する参考解答は、各検証行のすべての特徴量が、そのフォールドの予測時点で利用可能な情報だけを使って計算されているなら、拡張ウィンドウ検証は許容できる、というものです。分割だけでは十分ではありません。特徴量テーブルも時間の制約を守る必要があります。

境界ケース

クロスバリデーションの前に、データセット全体に対して中央揃えのウィンドウを使い、`rolling_4_mean_demand`を一度だけ計算したとします。フォールドの境界は時系列順に見えても、2024-02-25の特徴量に2024-03-03以降の需要が含まれる可能性があります。これはリークです。各予測時点から見て過去の観測値だけを使う方法で、ローリング特徴量を再計算します。

再利用できるリーク監査手順

時系列検証の結果を信頼する前に、この監査を行います。

1. 予測時点を定義する

モデルが実行される正確な瞬間を書き出します。データが実際にその時点で届くのでない限り、「週末」のような曖昧な表現は使わないでください。

2. 予測対象期間を定義する

モデルが次の行、次の7日間、次の月、または独自に定めた将来の期間のどれを予測するのかを明確にします。検証ウィンドウはその期間と一致させる必要があります。

3. 特徴量の利用可能性表を作成する

各特徴量について、使用できる最新のタイムスタンプを一覧にします。これは、ラグ特徴量、ローリングウィンドウ、集計、ターゲットエンコーディング、外部データ、欠損値補完のロジックで特に重要です。

4. 時系列順に分割する

ローリング起点または拡張起点のフォールドを使います。scikit-learnを使う場合、`TimeSeriesSplit`により、テストセットが学習セットの後に続く時系列順のフォールドを作れます。実際の予測期間と遅延に基づいて、`test_size`と`gap`を検討します。

5. 前処理は各フォールド内で適合させる

スケーラー、補完器、特徴量選択器、エンコーダー、変換処理は、学習部分だけに適合させます。そのうえで、得られた変換をそのフォールドの検証部分に適用します。scikit-learnの`Pipeline`、または同等のフォールド内で完結する処理を使うと、このパターンを守りやすくなります。

6. 特徴量はフォールド内で生成または検証する

特徴量がターゲットや時間依存の集計から作られる場合、検証行がそれより後の観測値を使っていないことを確認します。ワークフローによっては、各フォールドの中で特徴量を別々に生成するか、ソース行をタイムスタンプで明示的に制限する特徴量コードを使う必要があります。

7. 最終テスト期間には手を触れない

クロスバリデーションは、モデルの比較や選択肢の調整に役立ちます。選んだ履歴シミュレーションの下で、偏りのない最後の確認が必要な場合には、時系列上の最終ホールドアウト期間を残しておくことも有用です。

現実的な失敗例:一見きれいな分割でもリークが起きる場合

次のワークフローを考えてみます。

  1. データを日付順に並べます。
  2. データセット全体でラグ特徴量とローリング特徴量を計算します。
  3. すべての行に補完器とスケーラーを適合させます。
  4. `TimeSeriesSplit`を実行します。
  5. 各フォールドでモデルを訓練し、スコアを算出します。

分割は時系列順ですが、このワークフローでもリークは起こり得ます。

補完器とスケーラーは分割前に適合されているため、検証行からも学習しています。ローリング特徴量も、中央揃えで計算されていたり、後方補完されていたり、後の値を使って補間されていたり、何らかの形で将来の行を使える状態になっていたりすると、リークする可能性があります。`TimeSeriesSplit`は、分割器がフォールドのインデックスを生成する前に起きた問題を検出できません。

より安全な方法は次のとおりです。

  1. データをタイムスタンプ順に並べます。
  2. 時系列順のフォールドを定義します。
  3. 各フォールドでは、予測時点に合わせて学習行と検証行を制限します。
  4. 時間に依存する特徴量は、使用が許可された過去の行だけを使って計算します。
  5. 前処理は、そのフォールドの学習データだけに適合させます。
  6. 適合済みの前処理オブジェクトで検証データを変換します。
  7. 学習フォールドでモデルを学習し、検証フォールドで評価します。

これが、時系列クロスバリデーションにおける多くのデータリークエラーを防ぐための基本習慣です。

ギャップパラメータの選び方

検証の直前にある行が本番環境では利用できない場合や、特徴量のロジック上、学習と検証を切り離す必要がある場合は、ギャップを使います。

主な理由には、次のものがあります。

  • 報告の遅延:予測を行う時点で、昨日または先週のデータが利用できません。
  • ラベルの遅延:結果が観測されるのが、特徴量のタイムスタンプより後になります。
  • 特徴量ウィンドウの重なり:境界付近のラグ特徴量やローリング特徴量は、慎重に実装しないと検証期間の値を誤って取り込む可能性があります。
  • 運用上の制約:デプロイ済みモデルが、直近のレコードを除外した固定スナップショットで学習されています。

ギャップは、任意の安全余裕ではなく、利用できない、または使うと危険なサンプル数を反映する必要があります。行が日次で、報告の遅延が2日なら、2行のギャップが適切な場合があります。行が週次で、遅延が1週間なら、1行のギャップが適切な場合があります。

ただし、ギャップの役割は限定的で、学習用とテスト用のインデックスを分けることだけです。データ全体に適合させた前処理、検証ラベルを使って計算したターゲットエンコーディング、すでに未来の値を取り込んだローリング統計量を修正するものではありません。

限界と解釈

時系列クロスバリデーションは、設計した過去シミュレーションの条件下で性能を推定します。将来の本番環境での性能を保証するものではありません。

構造変化、商品変更、経済状況の変化、新しい報告プロセス、限られた履歴、分布シフトなどによって将来が過去のフォールドと異なる場合、この推定値はなお誤解を招く可能性があります。未来データのリークを完全に防ぐ検証設定であっても、明日のビジネス環境を表せないことがあります。

実務上の最善の基準は、完璧さではなく追跡可能性です。検証で行う各予測について、学習行、特徴量の元になった行、前処理を適合させたデータ、そして予測時点を示せる必要があります。その連鎖のどこかが未来に踏み込んでいるなら、その検証結果は予測性能の信頼できる推定値ではありません。