모델은 정확도가 높아도 신뢰해서는 안 되는 확률을 내놓을 수 있습니다. 머신러닝의 확률 보정은 다른 질문을 점검합니다. 모델이 0.80 같은 확률을 예측했을 때, 비슷한 사례가 실제로 약 80%의 비율로 양성이 되는가 하는 점입니다.
이 가이드는 이진 분류기에 대해 실제 레이블과 예측 확률을 이미 가지고 있으며, 그 확률이 임계값 설정, 위험 규칙, 의사결정 지원 또는 보고에 사용할 만큼 신뢰할 수 있는지 판단해야 하는 실무자를 위한 것입니다.
확률 보정이 답하는 것
확률 보정은 모델이 단순히 많은 예를 올바르게 분류하는지가 아니라, 예측 확률이 관측된 빈도와 일치하는지를 평가합니다. scikit-learn 사용자 가이드는 잘 보정된 이진 분류기를 예측 확률이 경험적 사건 발생률과 일치하는 모델로 설명합니다. 예를 들어 0.8에 가까운 예측은 적절한 레이블 데이터에서 약 80%가 양성인 결과와 대응해야 합니다(scikit-learn 확률 보정 가이드).
이 구분은 중요합니다. 정확도, ROC AUC, 혼동 행렬이 모두 괜찮아 보여도 확률은 여전히 오해를 부를 수 있기 때문입니다. 분류기는 위험한 사례를 저위험 사례보다 높은 순위에 놓을 수는 있지만, 절대적인 위험 수준을 체계적으로 과대평가할 수 있습니다. 이후 단계의 정책이 확률 자체를 사용한다면, 그 차이는 의사결정을 바꿉니다.
Guo와 동료들은 신경망 보정 연구에서 신뢰도 다이어그램을 사용해 모델의 확신도와 예측이 실제로 맞은 빈도를 비교했습니다. 이 가이드의 이진 분류기에서는 각 구간에서 양성 클래스의 예측 확률을 관측된 양성 비율과 비교합니다.
보정을 확인하기 전에 필요한 입력값
보정을 평가하기 전에 다음 네 가지를 준비합니다.
- 홀드아웃 실제 레이블. 모델 적합에 사용하지 않은 레이블 데이터를 사용합니다.
- 양성 클래스에 대한 예측 확률. 이진 분류에서는 보통 예마다 하나의 확률이 있습니다.
- 중요한 확률 범위에 충분한 예시. 어떤 범위에 표본이 몇 개뿐이면 보정 추정값은 잡음이 큽니다.
- 정의된 사용 사례. 허용 가능한 오차는 의사결정에 따라 달라집니다. 저위험 순위화 기능은 의료, 대출, 안전이 중요한 워크플로보다 다소 거친 확률도 허용할 수 있습니다.
한 번의 검증 결과를 영구적인 것으로 보아서는 안 됩니다. 하나의 홀드아웃 세트에서 측정한 보정은 분포 이동, 계절적 변화, 정책 변경 또는 점수화 대상 모집단의 변화 이후에는 더 이상 성립하지 않을 수 있습니다.
핵심 절차: 확률 구간과 관측 빈도 비교하기
가장 실용적인 첫 점검은 구간별 보정 표이며, 이는 흔히 보정 곡선으로 시각화됩니다.
각 확률 범위에 대해 다음을 수행합니다.
- 예시를 예측 확률별로 묶습니다.
- 그 그룹의 평균 예측 확률을 계산합니다.
- 그 그룹의 관측된 양성 비율을 계산합니다.
- 구간 표본 수를 보고합니다.
보정 곡선은 scikit-learn의 보정 문서에 설명된 것처럼 예측 그룹에서 관측된 양성 표본의 비율과 예측 확률을 비교합니다(scikit-learn 확률 보정 가이드). 관련 함수인 `calibration_curve`는 각 구간의 실제 양성 비율과 평균 예측 확률을 반환합니다(scikit-learn calibration_curve API).
간단한 표는 다음과 같을 수 있습니다.
| 확률 구간 | 표본 수 | 평균 예측 확률 | 관측된 양성 비율 | 해석 |
|---|---|---|---|---|
| 0.00-0.20 | 420 | 0.11 | 0.10 | 이 범위에서는 근접함 |
| 0.20-0.40 | 310 | 0.31 | 0.35 | 약간 과소추정 |
| 0.40-0.60 | 180 | 0.51 | 0.49 | 이 범위에서는 근접함 |
| 0.60-0.80 | 70 | 0.71 | 0.58 | 과대추정 가능성 |
| 0.80-1.00 | 15 | 0.88 | 0.67 | 표본이 너무 적어 이것만으로는 신뢰하기 어려움 |
건수 열은 선택 사항이 아닙니다. 사례가 15개뿐인 구간은 레이블 몇 개만 바뀌어도 값이 크게 흔들릴 수 있으므로, 사례가 수백 개인 구간과 같은 비중으로 보아서는 안 됩니다.
합성 데이터를 사용한 예시 계산
다음 예시는 계산 방법을 보여주기 위해 만든 레이블과 확률만 사용합니다. 어떤 실제 모델의 성능도 입증하지 않습니다.
예측값 12개가 있다고 가정해 보겠습니다.
| 사례 | 예측 확률 | 실제 레이블 |
|---|---|---|
| 1 | 0.05 | 0 |
| 2 | 0.12 | 0 |
| 3 | 0.18 | 1 |
| 4 | 0.27 | 0 |
| 5 | 0.34 | 0 |
| 6 | 0.39 | 1 |
| 7 | 0.46 | 0 |
| 8 | 0.53 | 1 |
| 9 | 0.62 | 1 |
| 10 | 0.74 | 1 |
| 11 | 0.86 | 1 |
| 12 | 0.91 | 0 |
이제 0.00-0.20, 0.20-0.40, 0.40-0.60, 0.60-0.80, 0.80-1.00의 다섯 구간을 사용합니다. 이 계산 예시에서는 각 구간이 하한값은 포함하고 상한값은 제외하되, 마지막 구간만 1.00을 포함합니다.
| 확률 구간 | 사례 | 건수 | 평균 예측 확률 | 양성 수 | 관측된 양성 비율 |
|---|---|---|---|---|---|
| 0.00-0.20 | 1, 2, 3 | 3 | 0.12 | 1 | 0.33 |
| 0.20-0.40 | 4, 5, 6 | 3 | 0.33 | 1 | 0.33 |
| 0.40-0.60 | 7, 8 | 2 | 0.50 | 1 | 0.50 |
| 0.60-0.80 | 9, 10 | 2 | 0.68 | 2 | 1.00 |
| 0.80-1.00 | 11, 12 | 2 | 0.89 | 1 | 0.50 |
계산은 간단합니다.
- 0.20-0.40 구간에서 평균 예측 확률은 `(0.27 + 0.34 + 0.39) / 3 = 0.33`입니다.
- 관측된 양성 비율은 `양성 1건 / 사례 3건 = 0.33`입니다.
- 이 구간에서는 예측 비율과 관측 비율이 서로 가깝게 일치합니다.
하지만 이 장난감 예제에는 중요한 한계가 있습니다. 모든 구간이 매우 작다는 점입니다. 0.80~1.00 구간에는 사례가 두 개뿐이므로, 관측된 양성 비율이 0.50이라는 사실만으로 모델이 높은 확률 사례에서 심하게 잘못 보정되었다고 보기에는 근거가 약합니다. 실제 평가에서는 결정을 좌우하는 범위를 중심으로 더 많은 홀드아웃 사례가 필요합니다.
결과 해석 방법
표를 읽을 때는 각 구간의 평균 예측 확률과 관측된 양성 비율을 비교합니다.
- 값이 서로 가까우면 해당 범위의 보정 상태가 받아들일 만하다는 뜻입니다. 어떤 구간의 평균 예측 확률이 0.31이고 관측된 양성 비율이 0.30이라면, 그 구간에 충분한 사례가 있다는 전제에서 모델은 해당 세그먼트에 대해 기대한 대로 작동하고 있습니다.
- 관측된 비율이 예측 비율보다 낮으면 과신하거나 과대평가하고 있을 가능성이 있습니다. 어떤 구간의 평균이 0.80인데 실제 양성 사례가 0.60에 그친다면, 모델은 그 범위에서 확률을 지나치게 높게 부여하고 있는 것입니다.
- 관측된 비율이 예측 비율보다 높으면 과소신뢰하거나 과소평가하고 있을 가능성이 있습니다. 어떤 구간의 평균이 0.30인데 실제 양성 사례가 0.45라면, 모델은 그 범위의 위험을 낮게 잡고 있는 것입니다.
- 사례가 적은 구간은 신중하게 보아야 합니다. 사례가 몇 개 되지 않는 구간에서 커 보이는 차이는 안정적인 보정 문제라기보다 잡음일 수 있습니다.
비즈니스나 제품 의사결정에 쓰이는 확률 범위에 집중하십시오. 알림이 0.70에서 발생한다면, 0.05 근처의 작은 차이보다 0.60~0.80 부근의 보정 상태가 더 중요할 수 있습니다.
실무적인 의사결정 기준
다음 기준을 출발점으로 삼고, 위험 허용 수준에 맞게 조정하십시오.
- 의도한 용도에 예측 확률을 사용해도 됩니다. 중요한 확률 범위에서 평균 예측 확률과 관측된 양성 비율의 차이가 작고 체계적이지 않으며, 해당 구간의 표본 크기가 충분한 경우입니다.
- 조사하거나 다시 보정하십시오. 중요한 범위에서 의미 있는 차이가 반복해서 나타나고, 특히 그 패턴을 신뢰할 만큼 사례가 충분한 구간에서 그런 차이가 보일 때입니다.
- 결정하기 전에 검증 데이터를 더 수집하십시오. 중요한 구간의 사례가 적거나 결과가 불안정한 경우입니다.
- 보정 계층만 보지 말고 모델과 데이터도 진단하십시오. 차이가 클 때는 보정 불량이 데이터 부족, 특징 누수, 분포 변화, 또는 학습 집단과 배포 대상 집단의 불일치를 반영하는 것일 수 있습니다.
모든 상황에 맞는 보편적인 허용 기준은 없습니다. 위험도가 높은 업무 흐름에서는 몇 퍼센트포인트의 오차도 받아들이기 어려울 수 있지만, 위험도가 낮은 우선순위 지정 기능에서는 허용될 수 있습니다.
현실적인 실패 사례: 라벨은 정확하지만 확률은 신뢰하기 어려운 경우
고위험 계정을 표시하는 데 쓰이는 분류기를 생각해 보십시오. 선택한 임계값에서는 많은 사례를 올바르게 분류할 수 있지만, 예측 확률이 0.70~0.90인 계정의 위험은 여전히 과대평가할 수 있습니다.
정확도가 받아들일 만해 보이더라도 이런 실패는 비용을 초래할 수 있습니다. 조직이 원시 확률을 사용해 어떤 계정을 사람이 직접 검토할지 결정한다면, 실제 이벤트 발생률이 모델이 시사하는 것보다 낮은 사례에 팀이 너무 많은 노력을 쏟을 수 있습니다. 모델의 순위화 기능은 여전히 유용할 수 있지만, 추가 검증이나 조정 없이는 그 정책에 사용할 만큼 확률을 신뢰하기 어렵습니다.
그래서 보정 상태를 직접 확인해야 합니다. 정확도와 임계값 기반 요약만으로는 예측값 0.80이 약 80%의 이벤트 발생률을 뜻하는지 알 수 없습니다.
scikit-learn 구현 시 유의사항
scikit-learn에서는 `calibration_curve`가 보정 플롯에 필요한 두 핵심 값, 즉 각 구간의 양성 비율과 평균 예측 확률을 계산합니다(API 문서). 이는 시각화와 첫 진단 표를 만드는 데 유용합니다.
다만 구간별 개수도 함께 추적해야 합니다. 사용하는 도구가 평균 예측 확률과 관측된 양성 비율만 반환한다면, 같은 구간 나누기 규칙을 적용해 개수를 별도로 계산하세요. 개수가 없으면 보정 곡선에서 표본이 드문 영역이 실제보다 더 의미 있어 보일 수 있습니다.
scikit-learn은 곡선 자체와는 별도로 더 넓은 확률 보정 워크플로도 문서화하고 있습니다(확률 보정 가이드). 재보정은 가능한 대응 중 하나로 보아야지, 자동으로 해결해 주는 방법으로 보아서는 안 됩니다. 검증 데이터가 더 이상 운영 데이터와 닮아 있지 않다면, 잘못된 표본으로 재보정해도 여전히 신뢰할 수 없는 확률이 남을 수 있습니다.
한계와 주의할 점
보정 점검은 경험적 평가입니다. 레이블이 있는 표본, 구간을 나누는 방식, 점수가 매겨지는 모집단에 따라 달라집니다.
주요 주의 사항은 다음과 같습니다.
- 작은 표본은 판단을 그르치게 할 수 있습니다. 표본이 드문 구간에서는 관측된 양성 비율이 불안정해집니다.
- 클래스 불균형이 있으면 일부 범위를 평가하기 어려울 수 있습니다. 중요한 영역에서는 더 많은 검증 데이터가 필요할 수 있습니다.
- 분포 변화는 이전 보정을 무너뜨릴 수 있습니다. 지난 분기에 보정된 모델이라도 사용자, 정책, 계절성 또는 기준 비율이 바뀐 뒤에는 계속 보정된 상태로 남아 있지 않을 수 있습니다.
- 검증 세트 하나가 보증이 되지는 않습니다. 홀드아웃 데이터에서 좋은 보정 곡선이 나왔다면 비슷한 모집단에서 사용할 근거는 되지만, 영구적인 신뢰성을 증명하지는 않습니다.
- 보정은 유용성과 같지 않습니다. 보정된 모델이라도 고위험 사례와 저위험 사례를 충분히 잘 구분하지 못한다면 의사결정에 쓰기에는 여전히 너무 약할 수 있습니다.
핵심 정리
예측 확률을 신뢰할 수 있는지 확인하려면 홀드아웃 레이블 데이터에서 관측된 결과 빈도와 비교하세요. 확률 구간을 만들고 각 구간의 평균 예측 확률, 관측된 양성 비율, 개수를 보고한 뒤 의사결정에 영향을 주는 범위에서 차이를 판단해야 합니다.
중요한 구간에서 표본 크기가 충분한데도 일관된 차이가 나타난다면, 추가 조사나 재보정 또는 더 많은 검증 데이터 없이 원시 확률에 의존해서는 안 됩니다. 점수를 매기려는 모집단에서 차이가 작고 안정적이라면, 해당 용도에 그 확률을 사용할 근거가 더 충분합니다.
