Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

机器学习中的过拟合是什么?一份实用指南

Conceptual editorial artwork: 机器学习中的过拟合是什么?一份实用指南

机器学习中的过拟合,是指模型与训练数据贴合得过于紧密,以至于无法很好地泛化到新的样本。模型在开发阶段可能看起来表现很强,但在验证数据、测试数据,或此前从未见过的真实输入上,性能会下降。

对学生、分析师、软件工程师和产品团队来说,关键在于一个实践原则:不要只凭训练表现来判断模型。一个记住了历史数据中特殊细节的模型,可能在笔记本环境里看起来很准确,部署后却仍然给出不可靠的预测。

复现一个小型过拟合示例

这是在本地执行的合成多项式计算,与正文中的房价示例相互独立,不是真实住房数据或产品基准测试。

6个训练输入是−1、−0.6、−0.2、0.2、0.6、1。目标为x²分别加固定噪声0.08、−0.12、0.10、−0.10、0.12、−0.08。用最小二乘拟合2次和5次多项式,在−0.9、−0.7、…、0.9处与x²比较。MSE是预测误差平方的平均值。

次数训练MSE验证MSE
20.010080.000132
5< 1e-200.0223906162

5次多项式几乎完全拟合6个带噪训练点,但验证误差更高。2次的训练MSE为0.01008,验证MSE为0.000132;5次的验证MSE约为0.0223906162。在此示例中,更小的训练误差并未选出泛化更好的模型。

函数和噪声是人为创建的,验证目标故意无噪声以分离影响,真实标签不一定无噪声。这不证明2次或简单模型总是更好。用这些验证值选择模型,不构成独立的最终测试估计。

下载Python源码 — 无需额外软件包 · 下载基准计算结果JSON

过拟合是什么意思

机器学习模型通过训练从样本中学习规律。当模型学到的细节过于局限于训练集时,就会发生过拟合;这些细节可能包括噪声、偶然相关性,或不能代表更广泛问题的异常案例。

Google 的《机器学习速成课程》对过拟合的解释是:模型虽然很好地拟合了训练数据,却无法有效泛化到新的样本。Google 还强调了训练表现与验证表现之间的关系:如果训练表现持续提升,而验证表现落后或变差,模型就可能出现了过拟合。

这一区分很重要。训练准确率高本身并不能证明存在过拟合。模型可能出于合理原因在训练数据上表现良好。真正的警示信号,是模型在学过的数据上的表现,与在未学过的数据上的表现之间出现差距。

为什么过拟合很重要

过拟合会让模型一旦离开开发环境,就变成糟糕的决策者。欺诈识别模型可能学到上一季度交易中的特殊细节;推荐模型可能学到临时性的用户行为;房价模型可能记住少数异常房源,而不是学习更广泛的市场关系。

其后果是产生虚假的信心。在训练过程中,各项指标可能看起来很亮眼。但在生产环境中,由于新用户、记录、文档、房源或图像并不符合模型记住的那些狭窄细节,模型的预测可能反而更差。

Microsoft 的 Azure Machine Learning 指南将过拟合作为一个实际的机器学习陷阱来讨论,并把预防过拟合与评估实践联系起来,而不只是停留在模型定义上。尤其是,Microsoft 指出了验证和测试实践的重要性,因为仅有良好的训练表现,并不足以证明模型会在未见过的数据上表现良好。

训练数据、验证数据与测试数据

要识别过拟合,需要理解每类数据集的作用。

  • 训练数据是模型用来学习规律的数据。模型的参数会基于这些数据进行调整。
  • 验证数据用于开发过程中比较模型、调整设置,并判断模型在未参与训练的数据上表现是否有所改善。
  • 测试数据通常留到模型选择完成后,用于最终评估。它能以偏差较小的方式估计最终模型在未见过的数据上可能有怎样的表现。

具体如何划分,取决于项目、数据集规模和建模方法。原则比比例更重要:要把一部分数据与训练过程分开,以便评估模型的泛化能力。

如何识别过拟合

一种常见的过拟合模式如下:

  1. 训练误差持续下降,或训练准确率持续上升。
  2. 验证误差不再改善、只略有改善,或开始变差。
  3. 训练表现与验证表现之间的差距扩大。

这种模式表明,模型越来越擅长拟合训练样本,却没有更好地处理新样本。Google 关于过拟合的指南将这种训练与验证之间的差距列为一个实用信号。

没有一个通用阈值能说明某个特定差距一定意味着过拟合。可接受的差距取决于指标、领域、数据集规模、模型类型以及错误成本。医疗筛查模型、零售预测模型和电影推荐模型可能都需要采用不同标准。

示例演练:房价预测

下面的例子是假设性的。输入和数字都是为便于说明而设定的,并不是某次实际实验测得的结果。

设想你正在构建一个模型,用以下特征预测房价:

  • 面积(平方英尺)
  • 卧室数量
  • 邮政编码
  • 地块面积
  • 建造年份
  • 近期翻新状态

你在一个较小的历史房源数据集上训练了两个模型。

模型 训练表现 验证表现 解读
模型 A:简单模型 在训练房源上会出现一些错误 在验证房源上出现类似错误 可能正在学习较宽泛的模式,不过它仍可能过于简单
模型 B:非常复杂的模型 几乎完全贴合训练房源 在验证房源上表现更差 可能在记忆训练集中的特殊细节

一个有用的检查步骤是追问模型 B 可能学到了什么。假设训练数据中有几套高价房碰巧具有一种罕见组合:特定邮政编码、异常大的地块面积,以及近期翻新。复杂模型可能会把这种组合视为高价的近乎确定性信号,即使这种模式只是偶然出现,或只是基于太少的样本。

参考答案:如果模型 B 的训练误差持续下降,而验证误差上升,那么在让模型变得更复杂或训练更久之前,应先调查是否存在过拟合。

理由:模型在已经学过的样本上表现更好,却在从训练中留出的样本上表现变差。这正是与过拟合相关的实际模式。

边界情况:如果验证集太小,或不能代表模型之后会遇到的房屋,那么结论就不那么可靠。具有误导性的验证集可能夸大过拟合、掩盖过拟合,或者让你采用错误的修正方向。

过拟合的常见原因

过拟合通常来自模型灵活性、数据质量和评估设计之间的不匹配。

模型相对于现有数据过于复杂

高度灵活的模型可以捕捉细微关系,但也可能学到噪声。如果训练数据集规模小或覆盖面窄,额外的复杂度可能会帮助模型记忆,而不是泛化。

训练数据不具代表性

只在现实中的狭窄切片上训练的模型,换到其他场景可能表现不佳。例如,如果模型只在某一个地区、季节、客户群体或时间段的数据上训练,当条件发生变化时,它可能难以应对。

特征包含噪声或偶然相关性

某些输入特征在训练数据中可能因为一些后来不再成立的原因而与目标相关。模型可能会把这些偶然关系当作有意义的信号。

数据泄漏会扭曲评估结果

当预测时无法获得的信息进入训练或评估过程时,就会发生数据泄漏。泄漏可能让模型表现看起来好得不真实。它也可能与过拟合同时存在,或掩盖过拟合,因为此时评估已经不再反映真实的预测问题。

模型对验证集调优过度

验证数据有助于选择模型,但如果围绕同一个验证集反复优化每一项选择,验证分数就会变得不那么可信。在这种情况下,模型开发过程可能会开始间接地拟合验证集。

如何减少过拟合

没有任何补救办法能保证提升真实环境中的表现,但有几种做法可以降低风险。

在适当时使用更简单的模型

如果模型越复杂,验证表现反而越差,就尝试更简单的模型。较简单的模型没有那么多机会记住偶然细节。取舍在于,模型也可能变得过于简单而欠拟合,因此应比较验证表现,而不是想当然地认为越简单越好。

应用正则化

正则化会加入约束或惩罚,以抑制过于复杂的模式。在实践中,它可以帮助模型关注更普遍的关系,而不是对训练数据做极端拟合。合适的正则化选择取决于模型和任务。

更早停止训练

对于需要经过多轮迭代训练的模型,早停可能有帮助。如果验证表现停止改善,而训练表现仍在继续提升,更早停止训练可能有助于保留更好的泛化能力。

在适合项目时使用交叉验证

交叉验证会在多个训练—验证划分上评估模型。与单次划分相比,这能提供更稳定的观察,尤其是在数据集有限时。它不能修复糟糕的数据,但可以揭示模型表现是否严重依赖某一次幸运或不幸的划分。

检查特征是否存在泄漏和不稳定信号

检查模型进行预测时,这些特征是否真的可用。同时还要检查某个特征代表的是稳定关系,还是数据集中的临时痕迹。

改进数据

更具代表性的数据可以帮助模型学习能够泛化的模式。这可能意味着从更多用户群体、时间段、地区、产品类别或运行条件中收集样本。如果数据存在噪声、偏差、重复,或来自错误的分布,那么更多数据并不一定更好。

把最终测试集留到最后使用

单独的测试集有助于在主要选择确定后评估完成的模型。这可以降低反复开发决策已经使模型过拟合验证集的风险。

一条实用决策规则

在模型开发过程中使用这条规则:

如果验证表现变差,而训练表现仍在持续改善,就停止增加模型复杂度,并检查过拟合、数据泄漏以及验证数据质量。

这条规则并不能证明每一种情况都是过拟合。它只是告诉你接下来该检查什么。可以问:

  • 验证集能代表未来数据吗?
  • 是否可能存在来自目标变量或未来信息的泄漏?
  • 在增加复杂度、特征或训练时间后,表现是否下降了?
  • 错误是否集中在某个特定分群中?
  • 更简单或正则化更强的模型,在验证数据上表现会不会更好?

目标不是把训练分数做到最高,而是构建一个能在实际遇到的数据上稳定表现的模型。

现实中的失败案例:验证集何时会误导你

验证集只有在反映真实预测问题时才有用。假设一个客户流失模型基于历史用户进行训练,并用同一时期的用户进行验证。如果企业后来调整了定价、引导流程或产品功能,未来用户的行为可能会发生变化。验证结果对旧数据来说可能是客观的,但在新环境中就没那么有用了。

相反的情况也可能发生。验证集可能异常困难、规模过小,或者来自与预期部署场景不同的人群。在这种情况下,它可能会让一个合理的模型看起来像是过拟合了。

因此,过拟合分析不应止步于指标差距。差距是一种信号。下一步要检查数据划分、特征设计、建模选择和预期用途。

过拟合与欠拟合

过拟合和欠拟合是两种相反的失败模式。

问题 训练表现 验证表现 通常意味着什么
过拟合 强 较弱 模型学到了训练数据中特有、无法泛化的细节
欠拟合 弱 弱 模型过于简单、设定不当,或缺少重要信息

欠拟合模型没有从训练数据中学到足够内容;过拟合模型则从训练数据中学到了过多错误的细节。无论哪种情况,解决方案都取决于验证表现和错误分析,而不是孤立地看某一个指标。

要点总结

机器学习中的过拟合是一个泛化问题:模型很好地拟合了训练数据,但在新数据或验证数据上的表现更差。最明确的警示信号是差距不断扩大,即训练表现持续改善,而验证表现停滞或下降。

出现这种情况时,不要只是延长训练时间或让模型变得更复杂。应检查数据划分,查找数据泄漏,审视特征,考虑正则化或使用更简单的模型,并确认验证数据能够代表真实世界的问题。最好的模型不是把过去记得最精确的模型,而是能可靠处理新样本的模型。