다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

모델이 예측한 확률을 믿을 수 있는지 확인하는 방법

Conceptual editorial artwork: 모델이 예측한 확률을 믿을 수 있는지 확인하는 방법

모델은 정확도가 높아도 신뢰해서는 안 되는 확률을 내놓을 수 있습니다. 머신러닝의 확률 보정은 다른 질문을 점검합니다. 모델이 0.80 같은 확률을 예측했을 때, 비슷한 사례가 실제로 약 80%의 비율로 양성이 되는가 하는 점입니다.

이 가이드는 이진 분류기에 대해 실제 레이블과 예측 확률을 이미 가지고 있으며, 그 확률이 임계값 설정, 위험 규칙, 의사결정 지원 또는 보고에 사용할 만큼 신뢰할 수 있는지 판단해야 하는 실무자를 위한 것입니다.

확률 보정이 답하는 것

확률 보정은 모델이 단순히 많은 예를 올바르게 분류하는지가 아니라, 예측 확률이 관측된 빈도와 일치하는지를 평가합니다. scikit-learn 사용자 가이드는 잘 보정된 이진 분류기를 예측 확률이 경험적 사건 발생률과 일치하는 모델로 설명합니다. 예를 들어 0.8에 가까운 예측은 적절한 레이블 데이터에서 약 80%가 양성인 결과와 대응해야 합니다(scikit-learn 확률 보정 가이드).

이 구분은 중요합니다. 정확도, ROC AUC, 혼동 행렬이 모두 괜찮아 보여도 확률은 여전히 오해를 부를 수 있기 때문입니다. 분류기는 위험한 사례를 저위험 사례보다 높은 순위에 놓을 수는 있지만, 절대적인 위험 수준을 체계적으로 과대평가할 수 있습니다. 이후 단계의 정책이 확률 자체를 사용한다면, 그 차이는 의사결정을 바꿉니다.

Guo와 동료들은 신경망 보정 연구에서 신뢰도 다이어그램을 사용해 모델의 확신도와 예측이 실제로 맞은 빈도를 비교했습니다. 이 가이드의 이진 분류기에서는 각 구간에서 양성 클래스의 예측 확률을 관측된 양성 비율과 비교합니다.

보정을 확인하기 전에 필요한 입력값

보정을 평가하기 전에 다음 네 가지를 준비합니다.

  1. 홀드아웃 실제 레이블. 모델 적합에 사용하지 않은 레이블 데이터를 사용합니다.
  2. 양성 클래스에 대한 예측 확률. 이진 분류에서는 보통 예마다 하나의 확률이 있습니다.
  3. 중요한 확률 범위에 충분한 예시. 어떤 범위에 표본이 몇 개뿐이면 보정 추정값은 잡음이 큽니다.
  4. 정의된 사용 사례. 허용 가능한 오차는 의사결정에 따라 달라집니다. 저위험 순위화 기능은 의료, 대출, 안전이 중요한 워크플로보다 다소 거친 확률도 허용할 수 있습니다.

한 번의 검증 결과를 영구적인 것으로 보아서는 안 됩니다. 하나의 홀드아웃 세트에서 측정한 보정은 분포 이동, 계절적 변화, 정책 변경 또는 점수화 대상 모집단의 변화 이후에는 더 이상 성립하지 않을 수 있습니다.

핵심 절차: 확률 구간과 관측 빈도 비교하기

가장 실용적인 첫 점검은 구간별 보정 표이며, 이는 흔히 보정 곡선으로 시각화됩니다.

각 확률 범위에 대해 다음을 수행합니다.

  • 예시를 예측 확률별로 묶습니다.
  • 그 그룹의 평균 예측 확률을 계산합니다.
  • 그 그룹의 관측된 양성 비율을 계산합니다.
  • 구간 표본 수를 보고합니다.

보정 곡선은 scikit-learn의 보정 문서에 설명된 것처럼 예측 그룹에서 관측된 양성 표본의 비율과 예측 확률을 비교합니다(scikit-learn 확률 보정 가이드). 관련 함수인 `calibration_curve`는 각 구간의 실제 양성 비율과 평균 예측 확률을 반환합니다(scikit-learn calibration_curve API).

간단한 표는 다음과 같을 수 있습니다.

확률 구간 표본 수 평균 예측 확률 관측된 양성 비율 해석
0.00-0.20 420 0.11 0.10 이 범위에서는 근접함
0.20-0.40 310 0.31 0.35 약간 과소추정
0.40-0.60 180 0.51 0.49 이 범위에서는 근접함
0.60-0.80 70 0.71 0.58 과대추정 가능성
0.80-1.00 15 0.88 0.67 표본이 너무 적어 이것만으로는 신뢰하기 어려움

건수 열은 선택 사항이 아닙니다. 사례가 15개뿐인 구간은 레이블 몇 개만 바뀌어도 값이 크게 흔들릴 수 있으므로, 사례가 수백 개인 구간과 같은 비중으로 보아서는 안 됩니다.

합성 데이터를 사용한 예시 계산

다음 예시는 계산 방법을 보여주기 위해 만든 레이블과 확률만 사용합니다. 어떤 실제 모델의 성능도 입증하지 않습니다.

예측값 12개가 있다고 가정해 보겠습니다.

사례 예측 확률 실제 레이블
1 0.05 0
2 0.12 0
3 0.18 1
4 0.27 0
5 0.34 0
6 0.39 1
7 0.46 0
8 0.53 1
9 0.62 1
10 0.74 1
11 0.86 1
12 0.91 0

이제 0.00-0.20, 0.20-0.40, 0.40-0.60, 0.60-0.80, 0.80-1.00의 다섯 구간을 사용합니다. 이 계산 예시에서는 각 구간이 하한값은 포함하고 상한값은 제외하되, 마지막 구간만 1.00을 포함합니다.

확률 구간 사례 건수 평균 예측 확률 양성 수 관측된 양성 비율
0.00-0.20 1, 2, 3 3 0.12 1 0.33
0.20-0.40 4, 5, 6 3 0.33 1 0.33
0.40-0.60 7, 8 2 0.50 1 0.50
0.60-0.80 9, 10 2 0.68 2 1.00
0.80-1.00 11, 12 2 0.89 1 0.50

계산은 간단합니다.

  • 0.20-0.40 구간에서 평균 예측 확률은 `(0.27 + 0.34 + 0.39) / 3 = 0.33`입니다.
  • 관측된 양성 비율은 `양성 1건 / 사례 3건 = 0.33`입니다.
  • 이 구간에서는 예측 비율과 관측 비율이 서로 가깝게 일치합니다.

하지만 이 장난감 예제에는 중요한 한계가 있습니다. 모든 구간이 매우 작다는 점입니다. 0.80~1.00 구간에는 사례가 두 개뿐이므로, 관측된 양성 비율이 0.50이라는 사실만으로 모델이 높은 확률 사례에서 심하게 잘못 보정되었다고 보기에는 근거가 약합니다. 실제 평가에서는 결정을 좌우하는 범위를 중심으로 더 많은 홀드아웃 사례가 필요합니다.

결과 해석 방법

표를 읽을 때는 각 구간의 평균 예측 확률과 관측된 양성 비율을 비교합니다.

  • 값이 서로 가까우면 해당 범위의 보정 상태가 받아들일 만하다는 뜻입니다. 어떤 구간의 평균 예측 확률이 0.31이고 관측된 양성 비율이 0.30이라면, 그 구간에 충분한 사례가 있다는 전제에서 모델은 해당 세그먼트에 대해 기대한 대로 작동하고 있습니다.
  • 관측된 비율이 예측 비율보다 낮으면 과신하거나 과대평가하고 있을 가능성이 있습니다. 어떤 구간의 평균이 0.80인데 실제 양성 사례가 0.60에 그친다면, 모델은 그 범위에서 확률을 지나치게 높게 부여하고 있는 것입니다.
  • 관측된 비율이 예측 비율보다 높으면 과소신뢰하거나 과소평가하고 있을 가능성이 있습니다. 어떤 구간의 평균이 0.30인데 실제 양성 사례가 0.45라면, 모델은 그 범위의 위험을 낮게 잡고 있는 것입니다.
  • 사례가 적은 구간은 신중하게 보아야 합니다. 사례가 몇 개 되지 않는 구간에서 커 보이는 차이는 안정적인 보정 문제라기보다 잡음일 수 있습니다.

비즈니스나 제품 의사결정에 쓰이는 확률 범위에 집중하십시오. 알림이 0.70에서 발생한다면, 0.05 근처의 작은 차이보다 0.60~0.80 부근의 보정 상태가 더 중요할 수 있습니다.

실무적인 의사결정 기준

다음 기준을 출발점으로 삼고, 위험 허용 수준에 맞게 조정하십시오.

  1. 의도한 용도에 예측 확률을 사용해도 됩니다. 중요한 확률 범위에서 평균 예측 확률과 관측된 양성 비율의 차이가 작고 체계적이지 않으며, 해당 구간의 표본 크기가 충분한 경우입니다.
  2. 조사하거나 다시 보정하십시오. 중요한 범위에서 의미 있는 차이가 반복해서 나타나고, 특히 그 패턴을 신뢰할 만큼 사례가 충분한 구간에서 그런 차이가 보일 때입니다.
  3. 결정하기 전에 검증 데이터를 더 수집하십시오. 중요한 구간의 사례가 적거나 결과가 불안정한 경우입니다.
  4. 보정 계층만 보지 말고 모델과 데이터도 진단하십시오. 차이가 클 때는 보정 불량이 데이터 부족, 특징 누수, 분포 변화, 또는 학습 집단과 배포 대상 집단의 불일치를 반영하는 것일 수 있습니다.

모든 상황에 맞는 보편적인 허용 기준은 없습니다. 위험도가 높은 업무 흐름에서는 몇 퍼센트포인트의 오차도 받아들이기 어려울 수 있지만, 위험도가 낮은 우선순위 지정 기능에서는 허용될 수 있습니다.

현실적인 실패 사례: 라벨은 정확하지만 확률은 신뢰하기 어려운 경우

고위험 계정을 표시하는 데 쓰이는 분류기를 생각해 보십시오. 선택한 임계값에서는 많은 사례를 올바르게 분류할 수 있지만, 예측 확률이 0.70~0.90인 계정의 위험은 여전히 과대평가할 수 있습니다.

정확도가 받아들일 만해 보이더라도 이런 실패는 비용을 초래할 수 있습니다. 조직이 원시 확률을 사용해 어떤 계정을 사람이 직접 검토할지 결정한다면, 실제 이벤트 발생률이 모델이 시사하는 것보다 낮은 사례에 팀이 너무 많은 노력을 쏟을 수 있습니다. 모델의 순위화 기능은 여전히 유용할 수 있지만, 추가 검증이나 조정 없이는 그 정책에 사용할 만큼 확률을 신뢰하기 어렵습니다.

그래서 보정 상태를 직접 확인해야 합니다. 정확도와 임계값 기반 요약만으로는 예측값 0.80이 약 80%의 이벤트 발생률을 뜻하는지 알 수 없습니다.

scikit-learn 구현 시 유의사항

scikit-learn에서는 `calibration_curve`가 보정 플롯에 필요한 두 핵심 값, 즉 각 구간의 양성 비율과 평균 예측 확률을 계산합니다(API 문서). 이는 시각화와 첫 진단 표를 만드는 데 유용합니다.

다만 구간별 개수도 함께 추적해야 합니다. 사용하는 도구가 평균 예측 확률과 관측된 양성 비율만 반환한다면, 같은 구간 나누기 규칙을 적용해 개수를 별도로 계산하세요. 개수가 없으면 보정 곡선에서 표본이 드문 영역이 실제보다 더 의미 있어 보일 수 있습니다.

scikit-learn은 곡선 자체와는 별도로 더 넓은 확률 보정 워크플로도 문서화하고 있습니다(확률 보정 가이드). 재보정은 가능한 대응 중 하나로 보아야지, 자동으로 해결해 주는 방법으로 보아서는 안 됩니다. 검증 데이터가 더 이상 운영 데이터와 닮아 있지 않다면, 잘못된 표본으로 재보정해도 여전히 신뢰할 수 없는 확률이 남을 수 있습니다.

한계와 주의할 점

보정 점검은 경험적 평가입니다. 레이블이 있는 표본, 구간을 나누는 방식, 점수가 매겨지는 모집단에 따라 달라집니다.

주요 주의 사항은 다음과 같습니다.

  • 작은 표본은 판단을 그르치게 할 수 있습니다. 표본이 드문 구간에서는 관측된 양성 비율이 불안정해집니다.
  • 클래스 불균형이 있으면 일부 범위를 평가하기 어려울 수 있습니다. 중요한 영역에서는 더 많은 검증 데이터가 필요할 수 있습니다.
  • 분포 변화는 이전 보정을 무너뜨릴 수 있습니다. 지난 분기에 보정된 모델이라도 사용자, 정책, 계절성 또는 기준 비율이 바뀐 뒤에는 계속 보정된 상태로 남아 있지 않을 수 있습니다.
  • 검증 세트 하나가 보증이 되지는 않습니다. 홀드아웃 데이터에서 좋은 보정 곡선이 나왔다면 비슷한 모집단에서 사용할 근거는 되지만, 영구적인 신뢰성을 증명하지는 않습니다.
  • 보정은 유용성과 같지 않습니다. 보정된 모델이라도 고위험 사례와 저위험 사례를 충분히 잘 구분하지 못한다면 의사결정에 쓰기에는 여전히 너무 약할 수 있습니다.

핵심 정리

예측 확률을 신뢰할 수 있는지 확인하려면 홀드아웃 레이블 데이터에서 관측된 결과 빈도와 비교하세요. 확률 구간을 만들고 각 구간의 평균 예측 확률, 관측된 양성 비율, 개수를 보고한 뒤 의사결정에 영향을 주는 범위에서 차이를 판단해야 합니다.

중요한 구간에서 표본 크기가 충분한데도 일관된 차이가 나타난다면, 추가 조사나 재보정 또는 더 많은 검증 데이터 없이 원시 확률에 의존해서는 안 됩니다. 점수를 매기려는 모집단에서 차이가 작고 안정적이라면, 해당 용도에 그 확률을 사용할 근거가 더 충분합니다.