Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

如何在留出数据上衡量排列特征重要性

Conceptual editorial artwork: 如何在留出数据上衡量排列特征重要性

排列特征重要性回答的是一个范围较窄但很有用的问题:当某个特征通过随机打乱而变得不再提供有效信息时,已拟合模型在未见数据上的得分会变化多少?因此,对于已经有训练好模型、并希望了解模型在留出集表现上依赖哪些输入的数据科学家、机器学习工程师和应用分析人员来说,它很有用。

它并不能证明某个特征会导致结果发生变化。它衡量的是在特定扰动下、特定数据集上、使用特定评分指标时,模型得分的敏感程度。

排列特征重要性回答什么问题

排列特征重要性通过比较基线得分与某个特征被排列打乱后的得分,来评估一个已拟合的估计器。scikit-learn 关于排列特征重要性的用户指南将这种方法描述为:打乱一个特征,并衡量模型得分相对于基线下降了多少。Christoph Molnar 的《Interpretable Machine Learning》中关于排列特征重要性的章节也以同样的思路来表述:在某个特征的取值被打乱后,衡量预测误差增加了多少,或者模型得分下降了多少。

例如,如果一个分类器在留出集上的准确率为 0.86,打乱特征 A 后准确率降至 0.76;而打乱特征 B 后准确率仍为 0.85,那么特征 A 表现出的重要性就高于特征 B。这种重要性是相对于该已拟合模型、该留出样本以及该指标而言的。

为什么要在留出数据上衡量

你可以在训练数据上计算排列特征重要性,但如果关注的是泛化能力,留出数据通常是更好的选择。验证集或测试集划分可以检验:模型在预测未参与拟合的样本时,是否仍然依赖该特征。

这一区分很重要。某个特征在训练数据上看起来有用,可能只是因为已拟合模型记住了训练集中的偶然特性。在留出数据上衡量,更能让重要性计算与模型在未见观测上的表现保持一致。scikit-learn 指南明确指出,排列重要性可以在留出数据上计算,这有助于评估特征对于训练集之外模型表现的重要性。

结果仍然依赖样本。如果留出集很小、分布发生偏移,或不能代表预期使用场景,重要性结果可能不稳定,甚至具有误导性。

运行计算前需要的输入

在计算排列特征重要性之前,请准备以下输入:

输入 为什么重要
已拟合模型 排列重要性评估的是已经拟合好的估计器。它不是一种独立于模型的特征选择方法。
留出特征矩阵 这是列会被逐一打乱的数据。
留出目标值 评分指标需要真实标签或目标值。
评分指标 重要性被定义为该指标的变化,因此准确率、R² 以及其他指标可能会产生不同的排序。
重复次数 重复打乱有助于显示得分下降会因随机排列而产生多大波动。
随机种子 设置种子可以让随机打乱过程可复现,便于审查和报告。
特征名称 名称能让输出更易解释,也更便于审计。

分步流程

对每个特征使用以下工作流程:

  1. 在留出数据上为已拟合模型评分。这就是基线得分。
  2. 在留出特征矩阵中选取一个特征列。
  3. 在各行之间随机打乱该列的取值,其他所有列保持不变。
  4. 在修改后的留出数据上为同一个已拟合模型评分。
  5. 计算分数下降量:基线分数减去打乱后的分数。
  6. 对该特征重复打乱多次。
  7. 汇总平均分数下降量以及各次重复之间的变动。
  8. 对每个特征重复上述过程,并按平均下降量对特征排序。

scikit-learn 的 permutation_importance 函数通过反复打乱单个列,并衡量指定评分指标的变化来实现这一过程。

使用 scikit-learn 的 Python 示例

下面的示例用于说明,其结构可复现。它只使用合成数据和一个已拟合模型来展示操作机制。确切的数值输出取决于运行环境、库版本、随机过程,以及你运行时生成的数据。

import pandas as pd

from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance
from sklearn.model_selection import train_test_split

# Synthetic example data for demonstration only.
X, y = make_classification(
    n_samples=1000,
    n_features=8,
    n_informative=4,
    n_redundant=2,
    random_state=42
)

feature_names = [f'feature_{i}' for i in range(X.shape[1])]
X = pd.DataFrame(X, columns=feature_names)

X_train, X_holdout, y_train, y_holdout = train_test_split(
    X,
    y,
    test_size=0.25,
    random_state=42
)

model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)

result = permutation_importance(
    model,
    X_holdout,
    y_holdout,
    scoring='accuracy',
    n_repeats=20,
    random_state=42
)

importance_table = pd.DataFrame({
    'feature': feature_names,
    'importance_mean': result.importances_mean,
    'importance_std': result.importances_std
}).sort_values('importance_mean', ascending=False)

print(importance_table)

一个假设的参考表可能如下:

feature importance_mean importance_std
feature_3 0.120 0.025
feature_1 0.075 0.020
feature_6 0.012 0.018
feature_4 -0.004 0.010

这张表不是已报告的基准结果,也不应被当作关于你的模型的证据。它只是说明如何理解该结构的参考答案:

  • feature_3在打乱后的平均准确率下降幅度最大,因此在这个留出划分上,该已拟合模型在列出的特征中似乎最依赖它。
  • feature_1似乎也有用,但平均下降幅度较小。
  • feature_6相对于其变动幅度而言接近于零,因此在这次运行中,支持其有用性的证据较弱。
  • feature_4略为负值,这可能来自随机变动,也可能是因为在某个特定样本中,打乱一个噪声特征反而提高了所选分数。应谨慎看待这一点,不要把它视为该特征的普遍属性。

如何解读结果

当评分指标为人熟悉时,排列特征重要性最容易解读。以准确率为例,如果基线分数和打乱后的分数都是准确率,那么平均重要性为0.05表示打乱该特征后,模型在留出数据上的准确率平均下降了5个百分点。

需要结合输出中的三个部分来看:

输出 解读
平均重要性 打乱该特征后,所选分数的平均下降量。正值越大,表示模型分数的敏感性越强。
标准差或重复变动 测得的下降量在随机打乱之间变化有多大。变动越大,说明估计越不稳定。
排名 一种便于查看的排序,并不保证相邻特征之间存在有意义的差异。

正的重要性表示打乱后所选分数通常变差。接近零的重要性表示在这个留出样本中,模型分数变化很小。负的重要性表示在重复实验中打乱后分数反而提高;这可能源于随机变动、噪声特征,或特定的数据划分和指标。

每个数值都是有条件的。只要改变已拟合模型、留出划分或评分指标,重要性数值都可能改变。

一条实用的决策规则

一条合理的操作规则是:

重点查看平均排列重要性明显高于零、且相对于重复之间波动也足够大的特征。对于接近零或为负的值,应把它们视为需要进一步调查的候选项,而不是自动删除的依据。

这条规则有重要限制。在删除或提升某个特征之前,应检查它是否与其他预测变量相关,是否为监控所必需,是否在业务操作上重要,是否受监管约束,或是否与公平性分析相关。还要单独验证任何下游变更。排列重要性告诉你当前已拟合模型如何响应被打乱的一列;它不能证明移除这一列会改进未来的模型。

失败情形:相关特征可能相互掩盖

假设一个信用风险模型包含两个高度相似的变量:

  • current_balance
  • average_balance_last_30_days

如果模型可以使用其中任意一个变量,那么打乱current_balance后,准确率可能不会下降太多,因为average_balance_last_30_days仍然携带相似信息。打乱第二个特征也可能出现同样的模式。尽管相关的余额特征组对模型很重要,这两个特征单独看起来都可能显得作用较弱。

这是一个已知限制。scikit-learn指南提醒,相关特征可能使排列重要性产生误导,因为对一个特征进行排列后,另一个特征中仍可能保留类似的预测信息。Molnar的《Interpretable Machine Learning》中关于排列特征重要性的章节也指出,当特征之间存在依赖关系时,独立排列可能生成不现实的特征值组合,从而使解释变得复杂。

实际含义是:当存在相关或相互依赖的特征时,不要把单个特征的重要性得分较低解读为该特征无用的证明。在更改特征集之前,应考虑分组审查、领域知识和单独验证。

局限与保障措施

在报告排列特征重要性或据此采取行动时,请采用以下保障措施:

  1. 不要把它视为因果关系。得分大幅下降意味着在排列实验中,已拟合模型依赖了该特征。这并不表明改变真实世界中的该特征会导致结果发生变化。
  2. 让指标与决策相匹配。某个特征可能对一个指标很重要,而对另一个指标不那么重要。
  3. 报告所使用的留出划分。在一个验证集或测试集上测得的重要性,未必能在另一个样本上保持不变。
  4. 使用重复排列。测得的下降幅度会随随机打乱而变化,因此单次排列提供的信息较少。
  5. 检查相关和相互依赖的特征。当其他列仍保留相似信息时,单独打乱某一列可能低估重要性;而当特征通常一起变化时,这种做法也可能生成不现实的记录。
  6. 对较小的留出集要保持谨慎。评估数据有限会使排名不稳定。
  7. 把解释与行动分开。特征移除、监控变更或生产环境更新,都应在重要性表之外另行验证。

报告模板

与审阅者或利益相关方分享结果时,可使用如下紧凑表格:

字段 示例条目
模型 已拟合的分类器或回归器名称
留出数据 来自指定日期范围或抽样过程的验证划分
指标 准确率、R²或其他选定得分
重复次数 每个特征排列20次
随机种子 42
特征 feature_3
平均重要性 得分下降0.120
变动幅度 各次重复的标准差为0.025
解读 在排列实验中,模型的留出得分对该特征敏感
注意事项 检查相关特征,并单独验证决策

要点

排列特征重要性是一种实用方法,用于衡量已拟合模型的留出得分在多大程度上依赖各个特征。应在验证数据或测试数据上运行该方法,重复进行随机打乱,按平均得分下降幅度排序,并结合变动性、指标选择和特征依赖关系解读结果。它适合用于指导模型审查,而不应单独用来宣称因果关系或作出不可逆的特征决策。