다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

홀드아웃 데이터에서 순열 특성 중요도를 측정하는 방법

Conceptual editorial artwork: 홀드아웃 데이터에서 순열 특성 중요도를 측정하는 방법

순열 특성 중요도는 범위가 좁지만 유용한 질문에 답합니다. 특성 하나를 무작위로 섞어 정보가 사라지게 만들면, 학습된 모델이 보지 못한 데이터에서 받는 점수가 얼마나 달라지는지를 묻습니다. 따라서 이미 학습된 모델이 있고 홀드아웃 성능에서 모델이 어떤 입력에 의존하는지 이해하려는 데이터 과학자, 머신러닝 엔지니어, 응용 분석가에게 유용합니다.

이 방법은 어떤 특성이 결과의 원인임을 증명하지 않습니다. 특정 데이터셋에서 특정 평가 지표를 기준으로, 특정 교란을 가했을 때 모델 점수가 얼마나 민감하게 변하는지를 측정합니다.

순열 특성 중요도가 답하는 것

순열 특성 중요도는 학습된 추정기를 평가할 때 기준 점수와 특성 하나를 순열한 뒤의 점수를 비교합니다. 순열 특성 중요도에 관한 scikit-learn 사용자 가이드에서는 이 방법을 특성 하나를 섞은 뒤 모델 점수가 기준값에서 얼마나 감소하는지 측정하는 방식이라고 설명합니다. Christoph Molnar의 순열 특성 중요도에 관한 Interpretable Machine Learning 장에서도 같은 개념을 특성값을 섞은 뒤 예측 오류가 얼마나 증가하는지, 또는 모델 점수가 얼마나 감소하는지를 측정하는 것으로 설명합니다.

예를 들어 어떤 분류기의 홀드아웃 정확도가 0.86이고 특성 A를 섞은 뒤 정확도가 0.76으로 떨어진다고 합시다. 특성 B를 섞었을 때 정확도가 0.85에 머문다면, 특성 A는 특성 B보다 겉으로 드러나는 중요도가 더 큽니다. 이 중요도는 해당 학습된 모델, 해당 홀드아웃 표본, 해당 지표에 상대적입니다.

왜 홀드아웃 데이터에서 측정해야 하는가

순열 특성 중요도는 훈련 데이터에서도 계산할 수 있지만, 일반화가 관심사라면 보통 홀드아웃 데이터가 더 나은 선택입니다. 검증 또는 테스트 분할은 모델이 학습에 사용하지 않은 사례를 예측할 때에도 그 특성에 계속 의존하는지를 묻습니다.

이 구분은 중요합니다. 학습된 모델이 우연한 특이성을 외웠기 때문에 어떤 특성이 훈련 데이터에서 유용해 보일 수 있습니다. 홀드아웃 데이터에서 측정하면 중요도 계산이 미지 관측치에 대한 모델 성능과 더 잘 맞아떨어집니다. scikit-learn 가이드는 순열 중요도를 홀드아웃 데이터에서 계산할 수 있으며, 이를 통해 훈련 세트를 넘어선 모델 성능에서의 특성 중요도를 평가하는 데 도움이 된다고 명시합니다.

그래도 결과는 표본에 의존합니다. 홀드아웃 세트가 작거나, 분포가 달라졌거나, 의도한 사용 사례를 대표하지 못하면 중요도가 불안정하거나 오해를 부를 수 있습니다.

계산을 실행하기 전에 필요한 입력

순열 특성 중요도를 계산하기 전에 다음 입력을 준비합니다.

입력 중요한 이유
학습된 모델 순열 중요도는 이미 학습된 추정기를 평가합니다. 모델과 독립적인 특성 선택 방법이 아닙니다.
홀드아웃 특성 행렬 열을 하나씩 섞게 될 데이터입니다.
홀드아웃 타깃값 평가 지표에는 실제 레이블이나 타깃값이 필요합니다.
평가 지표 중요도는 이 지표의 변화로 정의되므로, 정확도, R² 및 다른 지표는 서로 다른 순위를 낼 수 있습니다.
반복 횟수 섞기를 반복하면 무작위 순열 때문에 점수 하락이 얼마나 달라지는지 확인하는 데 도움이 됩니다.
난수 시드 시드를 사용하면 검토와 보고를 위해 무작위 섞기를 재현할 수 있습니다.
특성 이름 특성 이름이 있으면 출력을 해석하기 쉽고 검토하기도 쉽습니다.

단계별 절차

각 특성에 대해 다음 작업 흐름을 사용합니다.

  1. 홀드아웃 데이터에서 학습된 모델의 점수를 매깁니다. 이것이 기준 점수입니다.
  2. 홀드아웃 특성 행렬에서 특성 열 하나를 선택합니다.
  3. 다른 모든 열은 그대로 둔 채, 그 열의 값을 행 전체에서 무작위로 섞습니다.
  4. 수정된 홀드아웃 데이터에서 동일한 학습된 모델의 점수를 계산합니다.
  5. 점수 감소량을 계산합니다. 즉, 기준 점수에서 순열 적용 후 점수를 뺍니다.
  6. 해당 특성에 대해 섞기 과정을 여러 번 반복합니다.
  7. 평균 점수 감소량과 반복 간 변동을 요약합니다.
  8. 모든 특성에 대해 같은 과정을 반복하고, 평균 감소량을 기준으로 특성의 순위를 매깁니다.

scikit-learn permutation_importance 함수는 개별 열을 반복해서 섞고 지정한 평가 지표의 변화를 측정하는 방식으로 이 과정을 구현합니다.

scikit-learn을 사용한 Python 예제

다음 예제는 설명을 위한 것이며 구조적으로 재현할 수 있습니다. 합성 데이터와 학습된 모델은 작동 방식을 보여 주기 위해서만 사용합니다. 정확한 숫자 출력은 환경, 라이브러리 버전, 무작위 과정, 실행 시 생성되는 데이터에 따라 달라집니다.

import pandas as pd

from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance
from sklearn.model_selection import train_test_split

# Synthetic example data for demonstration only.
X, y = make_classification(
    n_samples=1000,
    n_features=8,
    n_informative=4,
    n_redundant=2,
    random_state=42
)

feature_names = [f'feature_{i}' for i in range(X.shape[1])]
X = pd.DataFrame(X, columns=feature_names)

X_train, X_holdout, y_train, y_holdout = train_test_split(
    X,
    y,
    test_size=0.25,
    random_state=42
)

model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)

result = permutation_importance(
    model,
    X_holdout,
    y_holdout,
    scoring='accuracy',
    n_repeats=20,
    random_state=42
)

importance_table = pd.DataFrame({
    'feature': feature_names,
    'importance_mean': result.importances_mean,
    'importance_std': result.importances_std
}).sort_values('importance_mean', ascending=False)

print(importance_table)

가상의 참고 표는 다음과 같을 수 있습니다.

feature importance_mean importance_std
feature_3 0.120 0.025
feature_1 0.075 0.020
feature_6 0.012 0.018
feature_4 -0.004 0.010

이 표는 보고된 벤치마크가 아니며, 사용자의 모델에 대한 증거로 보아서는 안 됩니다. 구조를 읽는 방법을 보여 주는 참고 답안입니다.

  • feature_3은 섞은 뒤 평균 정확도 하락폭이 가장 크므로, 이 홀드아웃 분할에서 이 학습된 모델은 나열된 특성 중 feature_3에 가장 많이 의존하는 것으로 보입니다.
  • feature_1도 유용해 보이지만 평균 하락폭은 더 작습니다.
  • feature_6은 변동에 비해 0에 가까우므로, 이 실행에서 유용하다는 증거는 약합니다.
  • feature_4는 약간 음수입니다. 이는 무작위 변동 때문에 발생할 수도 있고, 잡음이 많은 특성을 섞었더니 특정 표본에서 선택한 점수가 개선되었기 때문일 수도 있습니다. 이를 해당 특성의 보편적 속성으로 보지 말고 신중하게 다루어야 합니다.

결과 해석 방법

순열 특성 중요도는 평가 지표가 익숙할 때 가장 해석하기 쉽습니다. 정확도를 사용할 경우 평균 중요도 0.05는 기준 점수와 순열 적용 후 점수가 모두 정확도 값이라는 전제에서, 해당 특성을 섞었을 때 모델의 홀드아웃 정확도가 평균 5%포인트 하락했다는 뜻입니다.

출력의 세 가지 요소를 함께 사용합니다.

출력 해석
평균 중요도 특성을 섞은 뒤 선택한 점수가 평균적으로 얼마나 감소했는지를 나타냅니다. 양의 값이 클수록 모델 점수의 민감도가 더 높다는 뜻입니다.
표준편차 또는 반복 변동 무작위 섞기마다 측정된 감소량이 얼마나 달라지는지를 나타냅니다. 변동이 크면 추정치가 덜 안정적이라는 뜻입니다.
순위 편리한 정렬 기준일 뿐, 인접한 특성들이 의미 있게 다르다는 보장은 아닙니다.

양의 중요도는 섞은 뒤 선택한 점수가 대체로 나빠졌다는 뜻입니다. 0에 가까운 중요도는 이 홀드아웃 표본에서 모델 점수가 거의 변하지 않았다는 뜻입니다. 음의 중요도는 반복 실험에서 섞은 뒤 점수가 개선되었다는 뜻입니다. 이는 무작위 변동, 잡음이 많은 특성, 또는 특정 데이터 분할과 지표 때문에 발생할 수 있습니다.

모든 값은 조건부입니다. 학습된 모델, 홀드아웃 분할 또는 평가 지표를 바꾸면 중요도 값도 달라질 수 있습니다.

실무적인 의사결정 기준

합리적인 운용 기준은 다음과 같습니다.

평균 순열 중요도가 0보다 의미 있게 높고 반복 간 변동에 비해 큰 특성을 검토합니다. 0에 가깝거나 음수인 값은 자동 삭제 대상이 아니라 조사 후보로 다룹니다.

이 기준에는 중요한 한계가 있습니다. 특성을 제거하거나 더 중요하게 취급하기 전에, 해당 특성이 다른 예측 변수와 상관되어 있는지, 모니터링에 필요한지, 운영상 중요한지, 규제 대상인지, 또는 공정성 분석과 관련이 있는지 확인해야 합니다. 또한 이후의 변경 사항은 별도로 검증해야 합니다. 순열 중요도는 현재 학습된 모델이 섞인 열에 어떻게 반응하는지를 알려 줄 뿐, 그 열을 제거하면 향후 모델이 개선된다는 사실을 증명하지는 않습니다.

실패 사례: 상관된 특성은 서로를 가릴 수 있습니다

신용위험 모델에 서로 매우 유사한 변수 두 개가 포함되어 있다고 가정해 보겠습니다.

  • current_balance
  • average_balance_last_30_days

모델이 둘 중 어느 하나만으로도 정보를 활용할 수 있다면, average_balance_last_30_days가 여전히 비슷한 정보를 담고 있으므로 current_balance를 섞어도 정확도가 크게 낮아지지 않을 수 있습니다. 두 번째 특성을 섞어도 같은 양상이 나타날 수 있습니다. 관련된 잔액 특성들의 묶음은 모델에 중요하지만, 두 특성은 각각 약해 보일 수 있습니다.

이는 잘 알려진 한계입니다. scikit-learn 가이드는 상관된 특성이 있으면 한 특성을 순열해도 다른 특성에 비슷한 예측 정보가 남아 있을 수 있어 순열 중요도가 오해를 부를 수 있다고 경고합니다. Molnar의 『Interpretable Machine Learning』 장에서도 특성들이 서로 의존적일 때 독립적으로 순열하면 비현실적인 특성값 조합이 만들어질 수 있으며, 이 때문에 해석이 복잡해진다고 지적합니다.

실무적인 시사점은 분명합니다. 상관되거나 의존적인 특성이 있을 때 개별 중요도 점수가 낮다는 이유만으로 그 특성이 쓸모없다고 해석해서는 안 됩니다. 특성 집합을 변경하기 전에 묶음 단위의 검토, 도메인 지식, 별도 검증을 함께 고려해야 합니다.

한계와 안전장치

순열 특성 중요도를 보고하거나 이를 바탕으로 조치할 때는 다음 안전장치를 사용합니다.

  1. 인과관계로 취급하지 않습니다. 점수 하락이 크다는 것은 순열 실험에서 학습된 모델이 해당 특성에 의존했다는 뜻입니다. 현실 세계의 특성을 바꾸면 결과가 변한다는 것을 보여 주지는 않습니다.
  2. 의사결정에 맞는 지표를 사용합니다. 어떤 지표에서는 중요한 특성이 다른 지표에서는 덜 중요할 수 있습니다.
  3. 홀드아웃 분할을 보고합니다. 하나의 검증 세트나 테스트 세트에서 측정한 중요도가 다른 표본에서도 유지된다고 볼 수는 없습니다.
  4. 순열을 반복해서 사용합니다. 측정된 감소 폭은 무작위 섞기에 따라 달라질 수 있으므로, 한 번의 순열만으로는 정보가 부족합니다.
  5. 상관되거나 의존적인 특성을 점검합니다. 비슷한 정보가 다른 열에 남아 있으면 개별 열을 섞는 방식이 중요도를 과소평가할 수 있으며, 특성들이 보통 함께 움직이는 경우에는 비현실적인 레코드를 만들 수도 있습니다.
  6. 홀드아웃 세트가 작을 때는 주의합니다. 평가 데이터가 제한적이면 순위가 불안정해질 수 있습니다.
  7. 해석과 조치를 구분합니다. 특성 제거, 모니터링 변경, 운영 환경 업데이트는 중요도 표만이 아니라 별도의 검증을 거쳐야 합니다.

보고 템플릿

검토자나 이해관계자와 결과를 공유할 때는 다음과 같은 간결한 표를 사용합니다.

항목 예시 입력값
모델 학습된 분류기 또는 회귀기 이름
홀드아웃 데이터 지정된 날짜 범위 또는 표본 추출 과정에서 나온 검증 분할
지표 정확도, R² 또는 선택한 다른 점수
반복 횟수 특성당 순열 20회
난수 시드 42
특성 feature_3
평균 중요도 점수 0.120 감소
변동성 반복 간 표준편차 0.025
해석 순열을 적용했을 때 모델의 홀드아웃 데이터 점수가 이 특성에 민감합니다
주의 사항 상관된 특성을 확인하고 의사결정은 별도로 검증합니다

핵심 정리

순열 특성 중요도는 학습된 모델의 홀드아웃 점수가 각 특성에 얼마나 의존하는지 측정하는 실용적인 방법입니다. 검증 데이터나 테스트 데이터에서 실행하고, 섞기를 반복한 뒤, 평균 점수 감소폭을 기준으로 순위를 매기며, 변동성, 지표 선택, 특성 간 의존성을 함께 고려해 결과를 해석해야 합니다. 인과관계를 주장하거나 되돌리기 어려운 특성 관련 결정을 그 자체만으로 내리기보다는, 모델 검토를 안내하는 용도로 사용해야 합니다.