只有当每一次验证预测都只使用在该预测时点本应可获得的信息时,对时间序列模型的评估才算真实可信。这意味着数据划分的顺序很重要,同时也意味着预处理、特征工程、目标变量转换,以及训练期与测试期之间的间隔,都需要接受同样严格的审查。
本指南面向在Python中构建预测或按时间索引的监督学习流程的数据科学家、分析师和机器学习工程师。重点是实践:如何设计时间序列交叉验证中的数据泄漏检查,避免验证结果因意外接触未来信息而被高估。
你要避免什么
当预测时间戳之后的信息影响了模型训练、特征构造、预处理或模型选择时,就会发生未来数据泄漏。
最明显的情形是用3月数据训练,却用2月数据验证。但泄漏也可能更隐蔽:
- 在交叉验证之前,缩放器已经在整个数据集上完成拟合。
- 使用同时覆盖训练行和验证行计算出的统计量来填补缺失值。
- 居中滚动均值使用了某个时间戳两侧的观测值,其中包括未来观测。
- 目标编码是在全局范围内计算的,因此验证标签会影响编码后的训练特征。
- 由于存在上报延迟,训练窗口中最新的记录在生产环境中实际上还不可用。
scikit-learn关于常见陷阱的指南提醒,预处理参数只能从训练数据中学习,不能在评估前从完整数据集中学习。它还建议训练数据和测试数据应采用一致的转换方式,通常可通过流水线或等效的按折局部拟合流程实现。相关原则可参见scikit-learn文档中的常见陷阱与推荐实践。
决策规则:让验证过程看起来像生产环境
选择验证设计时,先回答四个运营层面的问题:
- 预测在什么时候做出?例如,在周一早上、尚未知晓本周任何销售数据之前。
- 要预测的时间跨度是什么?提前一天、提前一周、未来30天,还是一个固定的事件窗口。
- 预测时点有哪些数据可用?包括上报延迟、标签延迟,以及外部变量是否能够提前获知。
- 模型会以多高频率重新训练?每天、每周、每月,还是只有在人工刷新时才重新训练。
验证折应当模拟这些条件。如果模型会在每周日晚上重新训练,并用于预测下一周,那么每一折都应使用截至该周日可获得的数据进行训练,并在下一周进行验证。如果近期数据到达较晚,就要留出间隔。如果特征依赖滞后窗口,则要确认该滞后窗口不会跨入验证期。
这条规则比任何单一的交叉验证类都更重要。不同的时间序列问题可能需要不同约束,尤其是在数据包含多个实体、不规则时间戳、延迟标签或面板结构时。
为什么随机划分和普通k折交叉验证通常不适合预测
随机训练/测试划分和普通k折交叉验证通常不适合预测任务,因为它们可能把较晚的观测放入训练集,把较早的观测放入验证集。
对于普通的独立同分布表格问题,随机化可能有用。但对于按时间排序的预测问题,随机化会打乱历史序列。模型可能会从被要求预测的时期之后发生的观测中学习。即使算法本身不知道时间戳,特征分布、缩放参数、缺失值模式以及与目标相关的特征,也可能携带来自未来的信息。
这并不意味着每个带时间索引的监督学习问题都完全相同。但如果真实任务是用过去的观测来预测未来观测,验证集划分就应当保持时间顺序。
使用滚动或扩展的预测起点验证
更安全的模式是预测起点验证。在每个起点日期,用该起点之前可用的观测训练,并在该起点之后的观测上测试。下一个折把起点向前推进,然后重复这一过程。
预测教材《Forecasting: Principles and Practice》介绍了使用一系列预测起点进行时间序列交叉验证的方法:较早的观测用于训练,较晚的观测用于测试。这样可以反复进行历史模拟,同时不会用验证目标之后发生的观测来训练。
常见变体有两种:
| 方案 | 训练窗口 | 适用场景 |
|---|---|---|
| 扩展窗口 | 从开头开始,并在每一折中不断扩大 | 当所有较早数据仍然相关,且生产环境中的重新训练会不断累积历史数据时适用 |
| 滚动窗口 | 使用固定长度的近期窗口 | 当较早数据可能过时,或生产环境训练只使用近期历史时适用 |
无论哪种情况,验证窗口都必须位于训练窗口之后。
TimeSeriesSplit 能提供什么帮助,又不能解决什么
scikit-learn 的`TimeSeriesSplit`是为按时间排序的数据设计的。其文档说明,每个测试集在时间上都位于对应训练集之后。默认情况下,后续训练集是较早训练集的超集,因此它是一种扩展窗口风格的划分器。
`TimeSeriesSplit`还支持`gap`参数。gap 会在测试集之前,从每个训练集末尾排除指定数量的样本。当最新观测在生产环境中尚不可用,或者边界附近的特征窗口否则可能与验证边界重叠时,这会很有用。
不过,`TimeSeriesSplit`不会自动让整个工作流都免于泄漏。它控制的是返回的行索引顺序。它并不知道你是否已经在完整数据集上拟合了缩放器,是否创建了居中滚动特征,是否用未来观测填补了缺失值,或者是否在划分前计算了目标编码。
应把它作为设计的一部分,而不是完整的防泄漏保证。
示例演示:没有未来泄漏的每周需求预测
下面的示例是虚构的,仅供设计参考。它不报告实测模型性能。
场景
一家零售商希望提前一周预测某个产品的每周需求。每一行代表一个产品的一周。
- 时间戳:截至周日的一周
- 预测时间:当前周结束后的周日晚上
- 目标:下一周的需求
- 重新训练频率:每周
- 可用特征:日历周、已知的下周价格,以及已完成前几周的滞后需求
- 不可用特征:下周的实际需求、任何使用下周需求的滚动统计量,以及周日晚上前尚未上报的任何数据
假设有以下周度行:
| 行 | 周结束日期 | 预测时是否已有观测需求? |
|---|---|---|
| 1 | 2024-01-07 | 是 |
| 2 | 2024-01-14 | 是 |
| 3 | 2024-01-21 | 是 |
| 4 | 2024-01-28 | 是 |
| 5 | 2024-02-04 | 是 |
| 6 | 2024-02-11 | 是 |
| 7 | 2024-02-18 | 是 |
| 8 | 2024-02-25 | 是 |
| 9 | 2024-03-03 | 是 |
| 10 | 2024-03-10 | 是 |
| 11 | 2024-03-17 | 是 |
| 12 | 2024-03-24 | 是 |
目标是评估提前一周的预测。对于日期为2024-03-03的验证行,模型应只使用不晚于上一个预测时点可获得的信息。不得使用2024-03-03或之后的需求来为该次预测创建特征。
示例折边界
使用验证跨度为一周的扩展窗口设计:
| 折 | 训练行 | 间隔 | 验证行 | 含义 |
|---|---|---|---|---|
| 1 | 2024-01-07至2024-02-04 | 无 | 2024-02-11 | 用已完成的历史数据训练,预测下一周 |
| 2 | 2024-01-07至2024-02-11 | 无 | 2024-02-18 | 将预测原点向前移动一周 |
| 3 | 2024-01-07至2024-02-18 | 无 | 2024-02-25 | 重复历史模拟 |
| 4 | 2024-01-07至2024-02-25 | 无 | 2024-03-03 | 在之后未见过的一周上验证 |
如果业务中的周度需求上报有一周延迟,折设计就需要改变。对2024-03-03进行验证时,最新可用的观测需求可能是2024-02-18,而不是2024-02-25。在这种情况下,应加入一行间隔,或在特征生成逻辑中以其他方式强制执行上报延迟。
特征可用性检查
对每个验证行,逐项检查所有特征:
| 特征 | 防泄漏规则 | 是否允许用于2024-03-03这一验证周? |
|---|---|---|
| `lag_1_demand` | 如果在预测时可用,则使用2024-02-25的需求 | 仅在没有上报延迟时可以 |
| `lag_2_demand` | 使用2024-02-18的需求 | 可以 |
| `rolling_4_mean_demand` | 仅使用此前四个已完成周 | 如果只根据过去几周计算,则可以 |
| 居中的4周滚动均值 | 使用该行两侧的周 | 不可以,因为它可能包含未来需求 |
| 日历周 | 由时间戳派生,提前已知 | 通常可以 |
| 预测周价格 | 仅当未来价格在预测时点之前已知时才允许使用 | 取决于业务流程 |
这个虚构设定的参考答案是:如果每个验证行的所有特征都只使用该折预测时点可获得的信息来计算,那么扩展窗口验证是可以接受的。仅有划分还不够;特征表也必须遵守时间约束。
边界情况
假设在交叉验证之前,先用居中窗口在完整数据集上一次性计算了`rolling_4_mean_demand`。这些折的边界看起来可能仍然符合时间顺序,但2024-02-25这一行的特征可能包含来自2024-03-03或更晚日期的需求。这就是泄漏。应重新计算滚动特征,使其相对于每个预测时间戳只使用过去的观测。
可复用的泄漏审计流程
在信任时间序列验证结果之前,先使用这套审计流程。
1. 定义预测时间戳
写下模型实际运行的精确时刻。不要使用“周末”这类含糊说法,除非数据确实会在那个时点到达。
2. 定义目标预测跨度
明确模型预测的是下一行、未来七天、下个月,还是自定义的未来窗口。你的验证窗口应与这个预测跨度一致。
3. 创建特征可用性表
对每个特征,列出它可以使用的最晚时间戳。对于滞后特征、滚动窗口、聚合、目标编码、外部数据和缺失值填补逻辑,这一点尤其重要。
4. 按时间顺序划分
使用滚动起点或扩展起点的折。如果使用scikit-learn,`TimeSeriesSplit`可以提供按时间顺序排列的折,其中测试集位于训练集之后。应根据真实的预测跨度和延迟来考虑`test_size`和`gap`。
5. 在每个折内拟合预处理
只在训练部分拟合缩放器、填补器、特征选择器、编码器和各种变换。然后将学到的变换应用到该折的验证部分。scikit-learn的`Pipeline`,或等效的折内处理流程,有助于强制执行这种模式。
6. 在折内生成或验证特征
如果特征来自目标变量或与时间相关的聚合,就要确认验证行没有使用更晚的观测。根据工作流不同,这可能意味着在每个折内分别生成特征,或使用会按时间戳明确限制来源行的特征代码。
7. 保持最终测试期不被触碰
交叉验证有助于比较模型并调优选择。当你需要在选定的历史模拟方案下进行一次无偏的最终检查时,保留一个按时间顺序排列的最终留出期仍然有用。
现实中的失败案例:看似干净的划分仍然会泄漏
考虑下面这个工作流:
- 按日期对数据排序。
- 在完整数据集上计算滞后特征和滚动特征。
- 在所有行上拟合填补器和缩放器。
- 运行`TimeSeriesSplit`。
- 在每个折中训练模型并评分。
划分是按时间顺序进行的,但这个工作流仍然可能发生泄漏。
填补器和缩放器因为是在划分之前拟合的,所以从验证行中学到了信息。如果滚动特征使用了居中窗口、回填、利用后续值插值,或以其他方式允许使用未来行,也可能造成泄漏。`TimeSeriesSplit`无法发现这些问题,因为它们发生在划分器生成折索引之前。
更安全的做法是:
- 按时间戳对数据排序。
- 定义按时间顺序排列的折。
- 对于每一折,都要按照预测时点限制训练行和验证行。
- 只使用允许的历史行来计算时间相关特征。
- 仅在该折的训练数据上拟合预处理步骤。
- 用已经拟合好的预处理对象转换验证数据。
- 在训练折上训练,并在验证折上评估。
这是避免许多时间序列交叉验证数据泄漏错误的核心习惯。
如何选择间隔参数
如果验证前紧邻的行在生产环境中无法使用,或者特征逻辑需要在训练与验证之间留出隔离,就应设置间隔。
常见原因包括:
- 报告延迟:预测时无法获得昨天或上周的数据。
- 标签延迟:结果的观测时间晚于特征时间戳。
- 特征窗口重叠:如果实现不够谨慎,边界附近的滞后特征或滚动特征可能会意外取用验证期的值。
- 运营约束:已部署模型是在一个冻结快照上训练的,该快照排除了最新记录。
间隔应反映不可用或不安全的样本数量,而不是任意设置的安全余量。如果数据行是按天记录,报告延迟为两天,那么两行间隔可能合适。如果数据行是按周记录,延迟为一周,那么一行间隔可能合适。
但间隔的作用很有限:它只是分隔训练索引和测试索引。它无法修复在全量数据上拟合的预处理、用验证标签计算的目标编码,或已经纳入未来值的滚动统计量。
局限性与解读
时间序列交叉验证估计的是你所设计的历史模拟条件下的表现。它并不能保证未来生产环境中的表现。
如果未来因为结构性断点、产品变化、经济环境变化、新的报告流程、历史数据有限或分布漂移而不同于历史折,这一估计仍可能产生误导。即使验证设置完全避免了未来数据泄漏,也仍然可能无法代表明天的业务环境。
最好的实践标准不是追求完美,而是可追溯:对于每一次验证预测,你都应该能够明确指出训练行、特征来源行、预处理拟合数据以及预测时间戳。如果这条链路中的任何一环触及未来,验证结果就不能可靠估计预测性能。
