Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

ホールドアウトデータで順列特徴量重要度を測定する方法

Conceptual editorial artwork: ホールドアウトデータで順列特徴量重要度を測定する方法

順列特徴量重要度は、範囲は限られているものの有用な問いに答えるものです。つまり、ある特徴量をランダムにシャッフルして情報を持たない状態にしたとき、学習済みモデルの未知データに対するスコアがどれだけ変わるかを測ります。そのため、すでに学習済みモデルを持ち、ホールドアウト性能のためにモデルがどの入力に依存しているかを理解したいデータサイエンティスト、機械学習エンジニア、応用分析担当者にとって役立ちます。

これは、ある特徴量が結果の原因であることを証明するものではありません。特定のデータセットで、特定の評価指標を用い、特定の摂動を加えたときのモデルスコアの感度を測るものです。

順列特徴量重要度が答えること

順列特徴量重要度は、学習済み推定器について、基準スコアと、1つの特徴量を並べ替えた後のスコアを比較して評価します。順列特徴量重要度に関するscikit-learnユーザーガイドでは、この手法を、特徴量をシャッフルし、モデルスコアが基準値からどれだけ低下するかを測るものとして説明しています。Christoph Molnar氏の順列特徴量重要度を扱う『Interpretable Machine Learning』の章でも同じ考え方が示されており、特徴量の値をシャッフルした後に予測誤差がどれだけ増えるか、またはモデルスコアがどれだけ下がるかを測るものとしています。

たとえば、ある分類器のホールドアウト精度が0.86で、特徴量Aをシャッフルした後に精度が0.76へ下がり、特徴量Bをシャッフルしても精度が0.85にとどまるなら、特徴量Aの見かけ上の重要度は特徴量Bより大きいといえます。この重要度は、その学習済みモデル、そのホールドアウト標本、その評価指標に対する相対的な値です。

なぜホールドアウトデータで測るのか

順列特徴量重要度は訓練データでも計算できますが、汎化について知りたい場合は、通常はホールドアウトデータを使うほうが適しています。検証用またはテスト用の分割を使うと、モデルが学習に使っていないケースを予測するときにも、その特徴量に依存しているかを確認できます。

この違いは重要です。学習済みモデルが個別の癖を記憶しているために、訓練データ上では特徴量が有用に見えることがあります。ホールドアウトデータで測定すると、重要度の計算を未知の観測に対するモデル性能により近づけられます。scikit-learnガイドでも、順列重要度はホールドアウトデータで計算できると明記されており、訓練セットを超えたモデル性能に対する特徴量重要度を評価する助けになるとしています。

それでも結果は標本に依存します。ホールドアウトセットが小さい、分布がずれている、または想定する利用場面を代表していない場合、重要度は不安定になったり誤解を招いたりする可能性があります。

計算を実行する前に必要な入力

順列特徴量重要度を計算する前に、次の入力を準備します。

入力 重要な理由
学習済みモデル 順列重要度は、すでに学習された推定器を評価します。モデルから独立した特徴量選択手法ではありません。
ホールドアウト特徴量行列 このデータの列を1つずつシャッフルします。
ホールドアウト目的変数の値 評価指標には、正解ラベルまたは目的変数の値が必要です。
評価指標 重要度はこの指標の変化として定義されるため、正解率、R²、その他の指標では異なる順位になることがあります。
反復回数 シャッフルを繰り返すことで、ランダムな並べ替えによってスコア低下がどれだけ変動するかを示せます。
乱数シード シードを設定すると、レビューや報告のためにランダムシャッフルを再現できます。
特徴量名 名前があると、出力を解釈しやすく、監査もしやすくなります。

手順

各特徴量について、次の流れで進めます。

  1. ホールドアウトデータで学習済みモデルを評価します。これが基準スコアです。
  2. ホールドアウト特徴量行列から特徴量列を1つ選びます。
  3. その列の値を行方向にランダムにシャッフルし、他のすべての列は変更しません。
  4. 変更後のホールドアウトデータで、同じ学習済みモデルのスコアを計算します。
  5. スコア低下量を計算します。つまり、ベースラインスコアから順列後のスコアを引きます。
  6. その特徴量について、シャッフルを数回繰り返します。
  7. スコア低下量の平均と、繰り返しごとのばらつきを要約します。
  8. すべての特徴量で同じことを行い、平均低下量で特徴量を順位付けします。

この処理は、scikit-learnのpermutation_importance関数で実装されており、個々の列を繰り返しシャッフルして、指定したスコアリング指標の変化を測定します。

scikit-learnを使ったPythonの例

次の例は、考え方を示すためのもので、構造としては再現可能です。仕組みを示すためだけに、合成データと学習済みモデルを使っています。実際の数値出力は、環境、ライブラリのバージョン、ランダムな処理、実行時に生成されるデータによって変わります。

import pandas as pd

from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance
from sklearn.model_selection import train_test_split

# Synthetic example data for demonstration only.
X, y = make_classification(
    n_samples=1000,
    n_features=8,
    n_informative=4,
    n_redundant=2,
    random_state=42
)

feature_names = [f'feature_{i}' for i in range(X.shape[1])]
X = pd.DataFrame(X, columns=feature_names)

X_train, X_holdout, y_train, y_holdout = train_test_split(
    X,
    y,
    test_size=0.25,
    random_state=42
)

model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)

result = permutation_importance(
    model,
    X_holdout,
    y_holdout,
    scoring='accuracy',
    n_repeats=20,
    random_state=42
)

importance_table = pd.DataFrame({
    'feature': feature_names,
    'importance_mean': result.importances_mean,
    'importance_std': result.importances_std
}).sort_values('importance_mean', ascending=False)

print(importance_table)

仮の参照用テーブルは、次のようになります。

feature importance_mean importance_std
feature_3 0.120 0.025
feature_1 0.075 0.020
feature_6 0.012 0.018
feature_4 -0.004 0.010

この表は報告済みのベンチマークではなく、あなたのモデルについての証拠として扱うべきではありません。構造の読み方を示すための参照例です。

  • feature_3は、シャッフル後の平均的な正解率低下が最も大きいため、このホールドアウト分割では、列挙された特徴量の中で、この学習済みモデルが最も依存しているように見えます。
  • feature_1も有用に見えますが、平均低下量はより小さくなっています。
  • feature_6は、ばらつきに対してゼロに近いため、この実行で有用だとする根拠は弱いです。
  • feature_4はわずかに負の値です。これはランダムなばらつきによって起こる場合もあれば、特定のサンプルでノイズの多い特徴量をシャッフルすると、選択したスコアが改善するために起こる場合もあります。その特徴量の普遍的な性質とみなすのではなく、慎重に扱ってください。

結果の解釈方法

順列特徴量重要度は、スコアリング指標になじみがある場合に最も解釈しやすくなります。正解率の場合、ベースラインスコアと順列後のスコアがどちらも正解率であるなら、平均重要度0.05は、その特徴量をシャッフルしたときにモデルのホールドアウト正解率が平均で5パーセントポイント低下したことを意味します。

出力の次の3つを組み合わせて使います。

出力 解釈
平均重要度 特徴量をシャッフルした後に、選択したスコアが平均でどれだけ低下したかを示します。正の値が大きいほど、モデルスコアの感度が高いことを示します。
標準偏差または繰り返しによるばらつき 測定された低下量がランダムシャッフルごとにどれだけ変わるかを示します。ばらつきが大きいほど、推定は安定していません。
順位 便利な並び順であり、隣り合う特徴量に意味のある差があることを保証するものではありません。

重要度が正であるとは、通常、シャッフル後に選択したスコアが悪化したことを意味します。重要度がゼロに近いとは、このホールドアウトサンプルでモデルのスコアがほとんど変わらなかったことを意味します。重要度が負であるとは、繰り返し実験でシャッフル後にスコアが改善したことを意味します。これは、ランダムなばらつき、ノイズの多い特徴量、または特定のデータ分割と指標によって起こることがあります。

すべての値は条件付きです。学習済みモデル、ホールドアウト分割、またはスコアリング指標を変えると、重要度の値も変わる可能性があります。

実務で使える判断ルール

妥当な運用ルールは次のとおりです。

平均順列重要度が明確にゼロを上回り、繰り返し間のばらつきに比べて大きい特徴量を確認します。ゼロに近い値や負の値は、自動的に削除する対象ではなく、調査候補として扱います。

このルールには重要な限界があります。特徴量を削除したり重視したりする前に、その特徴量がほかの予測変数と相関していないか、監視に必要か、運用上重要か、規制対象か、公平性分析に関係するかを確認します。また、後続の変更は別途検証します。順列重要度が示すのは、現在の学習済みモデルがシャッフルされた列にどう反応するかです。その列を取り除けば将来のモデルが改善する、と証明するものではありません。

失敗例:相関した特徴量は互いを覆い隠すことがあります

信用リスクモデルに、非常によく似た2つの変数が含まれているとします。

  • current_balance
  • average_balance_last_30_days

モデルがどちらか一方を使える場合、current_balanceをシャッフルしても、average_balance_last_30_daysが似た情報をまだ持っているため、精度はあまり下がらないかもしれません。2つ目の特徴量をシャッフルしても、同じような結果になることがあります。関連する残高系特徴量のグループがモデルにとって重要であっても、個々の特徴量はどちらも弱く見えることがあります。

これはよく知られた限界です。scikit-learnのガイドは、相関した特徴量があると、ある特徴量を並べ替えても別の特徴量に似た予測情報が残る場合があるため、順列重要度が誤解を招くことがあると注意しています。Molnarの『Interpretable Machine Learning』の章でも、特徴量が依存している場合、独立に並べ替えることで現実的ではない特徴量値の組み合わせが生じ、解釈が難しくなると述べています。

実務上の意味は明確です。相関した特徴量や依存した特徴量がある場合、個別の重要度スコアが低いことを、その特徴量が役に立たない証拠だと読んではいけません。特徴量セットを変更する前に、グループ単位での確認、ドメイン知識、別途の検証を検討します。

限界と安全策

順列特徴量重要度を報告したり、それに基づいて対応したりする際は、次の安全策を使います。

  1. 因果関係として扱わないでください。スコアの低下が大きいということは、順列実験のもとで学習済みモデルがその特徴量に依存していたことを意味します。現実世界の特徴量を変えれば結果が変わることを示すものではありません。
  2. 判断に合う指標を選びます。ある特徴量は、ある指標では重要でも、別の指標ではそれほど重要でない場合があります。
  3. ホールドアウト分割を報告します。1つの検証セットまたはテストセットで測定した重要度が、別のサンプルでも成り立つとは限りません。
  4. 順列操作を繰り返します。測定される低下量はランダムなシャッフルによって変わるため、1回だけの順列では得られる情報が限られます。
  5. 相関した特徴量や依存した特徴量を点検します。似た情報がほかの列に残っていると、個別のシャッフルでは重要度を過小評価することがあります。また、通常は一緒に動く特徴量を別々に動かすことで、現実的ではないレコードが作られることもあります。
  6. 小さいホールドアウトセットには注意します。評価データが限られていると、順位が不安定になることがあります。
  7. 解釈と実行を分けます。特徴量の削除、監視方法の変更、本番環境の更新は、重要度表だけでなく、別途検証する必要があります。

報告用テンプレート

レビュー担当者や関係者と結果を共有するときは、次のような簡潔な表を使います。

項目 記入例
モデル 学習済みの分類器または回帰器の名前
ホールドアウトデータ 指定した日付範囲またはサンプリング手順から作成した検証分割
指標 正解率、R²、または選択した別のスコア
繰り返し回数 特徴量ごとに20回の順列操作
乱数シード 42
特徴量 feature_3
平均重要度 スコア低下0.120
ばらつき 繰り返し間の標準偏差0.025
解釈 このモデルのホールドアウトスコアは、順列化のもとでこの特徴量に敏感です
注意点 相関のある特徴量を確認し、判断は別途検証します

要点

順列特徴量重要度は、学習済みモデルのホールドアウトスコアが各特徴量にどの程度依存しているかを測る実用的な方法です。検証データまたはテストデータで実行し、シャッフルを繰り返し、平均スコア低下で順位付けしたうえで、ばらつき、評価指標の選択、特徴量間の依存関係とあわせて結果を解釈します。因果関係を主張したり、取り消しにくい特徴量に関する判断を単独で下したりするためではなく、モデルレビューの手がかりとして使います。