정밀도는 모델이 양성 클래스로 예측했을 때 그 예측이 얼마나 자주 맞는지를 보여줍니다. 재현율은 실제 양성 사례 가운데 모델이 성공적으로 찾아낸 사례가 얼마나 되는지를 보여줍니다. 분류 문제에서 둘 중 무엇을 선택할지는 어떤 지표가 보편적으로 더 좋은가의 문제가 아니라, 해당 애플리케이션에서 어떤 종류의 오류가 더 큰 비용을 초래하는가의 문제입니다.
이 가이드는 정확도에만 의존하지 않고 분류 모델의 결과를 해석해야 하는 학생, 주니어 데이터 과학자, 제품 관리자, 기술 의사결정자를 위한 것입니다.
머신러닝에서 정밀도와 재현율: 핵심 요약
머신러닝에서 정밀도와 재현율을 논의할 때 두 지표는 모두 양성 예측에 초점을 맞춰 분류기를 평가하지만, 서로 다른 질문을 던집니다.
- 정밀도는 이렇게 묻습니다. 모델이 양성이라고 예측한 것 중 실제로 양성인 것은 얼마나 되는가?
- 재현율은 이렇게 묻습니다. 실제로 양성인 것 중 모델이 찾아낸 것은 얼마나 되는가?
분류 지표를 다루는 Google 머신러닝 단기 집중 과정에 따르면 정밀도는 참 양성과 거짓 양성으로 계산하고, 재현율은 참 양성과 거짓 음성으로 계산합니다. 이 차이가 중요한 이유는 거짓 양성과 거짓 음성이 현실에서 대개 서로 다른 비용을 갖기 때문입니다.
높은 정밀도에 맞춰 조정한 모델은 보통 거짓 양성을 줄이지만, 더 많은 참 양성 사례를 놓칠 수 있습니다. 높은 재현율에 맞춰 조정한 모델은 보통 더 많은 참 양성을 찾아내지만, 오경보가 늘어날 수 있습니다.
두 지표의 바탕이 되는 혼동 행렬
정밀도와 재현율은 분류 결과를 네 가지로 나누어 보는 같은 구조에서 나오며, 이를 흔히 혼동 행렬이라고 합니다.
| 결과 | 의미 |
|---|---|
| 참 양성 | 모델이 양성이라고 예측했고, 해당 사례도 실제로 양성이었습니다. |
| 거짓 양성 | 모델이 양성이라고 예측했지만, 해당 사례는 실제로 음성이었습니다. |
| 거짓 음성 | 모델이 음성이라고 예측했지만, 해당 사례는 실제로 양성이었습니다. |
| 참 음성 | 모델이 음성이라고 예측했고, 해당 사례도 실제로 음성이었습니다. |
이 비교에서 가장 중요한 두 가지 오류 유형은 다음과 같습니다.
- 거짓 양성: 모델이 경보를 울리지 말아야 할 때 경보를 울립니다.
- 거짓 음성: 모델이 잡아냈어야 할 사례를 놓칩니다.
정밀도와 재현율 사이의 절충은 결국 이 두 오류 유형 사이의 절충입니다.
정밀도: 무엇을 측정하며 언제 중요한가
정밀도는 양성 예측의 품질을 측정합니다.
공식:
`precision = true positives / (true positives + false positives)`
분류기의 정밀도가 높으면 모델이 양성으로 표시한 사례 대부분이 실제로 양성입니다. 이는 거짓 양성의 비용이 클 때 특히 중요합니다.
예를 들어 가상의 사기 검토 업무 흐름에서 거짓 양성은 정상 거래가 중단되거나 수동 검토로 넘어간다는 뜻일 수 있습니다. 이런 환경에서는 잘못된 경보 하나하나가 고객 불편이나 운영 업무를 만들어낼 수 있으므로 팀이 정밀도를 매우 중요하게 볼 수 있습니다.
정밀도가 높다는 것은 모든 양성 사례를 잘 찾아낸다는 뜻과는 다릅니다. 모델이 명백한 소수의 사례만 표시하기 때문에 정밀도는 매우 높을 수 있지만, 동시에 실제 양성 사례를 많이 놓칠 수도 있습니다.
재현율: 무엇을 측정하며 언제 중요한가
재현율은 모델이 양성 클래스를 얼마나 빠짐없이 찾아내는지를 측정합니다.
공식:
`recall = true positives / (true positives + false negatives)`
분류기의 재현율이 높으면 실제 양성 사례 중 상당 부분을 찾아냅니다. 이는 거짓 음성의 비용이 클 때 특히 중요합니다.
예를 들어 가상의 선별 시스템에서 거짓 음성은 검토했어야 할 사례를 모델이 표시하지 못했다는 뜻입니다. 이런 환경에서는 실제 양성 사례를 놓치는 일이 추가적인 오경보를 검토하는 것보다 더 심각할 수 있으므로 팀이 재현율을 우선할 수 있습니다.
재현율은 선별성이 높다는 뜻과 같지 않습니다. 모델은 많은 사례를 표시함으로써 높은 재현율을 얻을 수 있지만, 그만큼 거짓 양성이 늘어날 수 있습니다.
예제로 살펴보는 계산: 사기 탐지 분류기 평가
다음은 산술 계산을 설명하기 위한 허구의 예일 뿐입니다. 벤치마크도 아니고, 실제 사기 모델 평가도 아니며, 실제 모델 성능을 보여 주는 증거도 아닙니다.
사기 탐지 분류기가 거래 1,000건을 검토한다고 가정해 보겠습니다. 양성 클래스는 사기입니다. 예측값을 알려진 레이블과 비교한 뒤의 혼동 행렬은 다음과 같습니다.
| 결과 | 건수 |
|---|---|
| 참 양성 | 60 |
| 거짓 양성 | 30 |
| 거짓 음성 | 40 |
| 참 음성 | 870 |
1단계: 정밀도 계산하기
Google의 분류 지표 가이드에서 제시한 정밀도 공식을 사용합니다.
`precision = true positives / (true positives + false positives)`
허구의 건수를 대입합니다.
`precision = 60 / (60 + 30)`
`precision = 60 / 90 = 0.667`
따라서 이 모델의 정밀도는 약 66.7%입니다. 이 예에서 모델이 어떤 거래를 사기로 표시하면, 표시된 거래의 약 3분의 2가 실제로 사기입니다.
2단계: 재현율 계산하기
재현율 공식을 사용합니다.
`recall = true positives / (true positives + false negatives)`
허구의 건수를 대입합니다.
`recall = 60 / (60 + 40)`
`recall = 60 / 100 = 0.60`
따라서 이 모델의 재현율은 60%입니다. 이 예에서 모델은 실제 사기 사례의 60%를 찾아내고 40%를 놓칩니다.
결과 해석 방법
거짓 양성의 비용이 더 크다면 팀은 정상 거래가 덜 표시되도록 정밀도를 높이려 할 수 있습니다. 거짓 음성의 비용이 더 크다면 사기 사례를 덜 놓치도록 재현율을 높이려 할 수 있습니다.
임계값에 따른 두 지표의 절충 관계가 중요합니다. 모델은 한 지표를 개선하면서 다른 지표를 악화시킬 수 있습니다. 팀이 사기로 표시하는 임계값을 높이면 거짓 양성이 줄어 정밀도는 개선될 수 있지만, 실제 사기를 더 많이 놓쳐 재현율이 낮아질 수도 있습니다. 반대로 임계값을 낮추면 더 많은 사기를 잡아 재현율은 개선될 수 있지만, 거짓 양성이 늘어 정밀도가 낮아질 수도 있습니다.
정확도만 보면 오해할 수 있는 이유
정확도는 유용할 수 있지만, 특히 데이터셋이 불균형할 때 가장 관심 있는 클래스에서 성능이 약하다는 사실을 숨길 수 있습니다. Microsoft Azure Machine Learning 문서에서도 클래스가 불균형하면 정확도가 소수 클래스의 낮은 성능을 가릴 수 있다고 설명합니다.
거의 모든 거래가 정상이고 사기는 일부에 불과한 가상의 데이터셋을 생각해 보겠습니다. 대부분을 정상으로 예측하는 모델은 다수 클래스가 데이터를 지배하기 때문에 전체 정답률로는 성능이 좋아 보일 수 있습니다. 하지만 비즈니스 문제가 사기를 찾아내는 것이라면, 같은 모델이 가장 중요한 과제에서는 여전히 실패할 수 있습니다.
따라서 분류 평가에서는 거짓 양성과 거짓 음성을 직접 살펴봐야 합니다. 정밀도와 재현율은 전체 정확도만으로는 드러나지 않을 수 있는 이런 오류를 보이게 해 줍니다.
정밀도와 재현율 중 무엇을 선택해야 할까
모든 분류 문제에 보편적으로 가장 좋은 지표는 없습니다. Microsoft도 적절한 평가 지표는 오류 유형별 비즈니스 비용이나 애플리케이션 비용에 따라 달라진다고 강조합니다.
다음 판단 기준을 사용할 수 있습니다.
| 더 큰 위험이… | 우선할 지표… | 이유 |
|---|---|---|
| 거짓 양성 | 정밀도 | 양성이라고 예측한 결과를 매우 신뢰할 수 있어야 하기 때문입니다. |
| 거짓 음성 | 재현율 | 실제 양성 사례를 가능한 한 많이 찾아내고 싶기 때문입니다. |
| 두 오류 유형이 모두 중요함 | 균형 잡힌 평가 | 하나만 최적화하기보다 정밀도와 재현율을 함께 살펴봐야 합니다. |
실무적인 평가 논의는 지표가 아니라 비용에서 시작해야 합니다. 다음을 물어보세요.
- 모델이 음성 사례를 양성으로 표시하면 어떤 일이 생깁니까?
- 모델이 양성 사례를 놓치면 어떤 일이 생깁니까?
- 어떤 오류가 더 비용이 크고, 해롭거나, 되돌리기 어렵습니까?
- 그 비용을 반영하도록 결정 임계값을 조정해야 합니까?
이 질문들에 답한 뒤에야 팀은 정밀도, 재현율, 또는 균형 잡힌 관점 중 무엇이 모델 선택을 이끌어야 하는지 결정해야 합니다.
현실적인 실패 사례: 잘못된 지표 최적화
거의 전적으로 재현율에 맞춰 최적화한 가상의 스팸 필터를 생각해 보겠습니다. 이 필터는 거의 모든 스팸 메시지를 잡아내지만, 정상 이메일도 많이 스팸 폴더로 보냅니다. 재현율 관점에서는 통과하는 스팸 메시지가 적기 때문에 모델이 좋아 보일 수 있습니다. 하지만 사용자 경험 관점에서는 거짓 양성이 중요한 메시지를 가릴 수 있어 받아들이기 어려울 수 있습니다.
이제 문제를 반대로 보겠습니다. 거의 전적으로 정밀도에 맞춰 최적화한 스팸 필터는 무엇을 스팸으로 분류할지 매우 신중할 수 있습니다. 사용자가 정상 이메일을 스팸 폴더로 잃는 일은 드물 수 있지만, 모델이 불확실한 사례를 놓치기 때문에 더 많은 스팸이 받은편지함에 도달할 수 있습니다.
어느 모델이 자동으로 더 낫다고 할 수는 없습니다. 더 나은 선택은 각 오류 유형의 상대적 비용과 거짓 경보와 놓친 양성 사례를 얼마나 감수할 수 있는지에 달려 있습니다.
관련 지표는 어디에 쓰이나
평가 보고서에는 F1 점수, ROC-AUC, PR-AUC 같은 지표도 포함될 수 있습니다. 이 지표들은 더 넓은 모델 비교에는 유용할 수 있지만, 정밀도, 재현율, 거짓 양성, 거짓 음성을 직접 살펴보는 일을 대체해서는 안 됩니다.
의사결정에서 정밀도와 재현율이 여전히 가치 있는 이유는 모델의 동작을 구체적인 결과와 연결해 주기 때문입니다.
- 누가 또는 무엇이 표시됩니까?
- 무엇을 놓칩니까?
- 어떤 실수가 더 큰 비용을 치르게 합니까?
이런 질문은 보통 단일 집계 점수보다 비즈니스와 제품 이해관계자가 판단하기 쉽습니다.
핵심 정리
- 정밀도는 양성 예측 중 얼마나 많은 것이 맞았는지 측정합니다.
- 재현율은 실제 양성 중 얼마나 많은 것을 찾아냈는지 측정합니다.
- 공식은 `precision = TP / (TP + FP)`와 `recall = TP / (TP + FN)`입니다.
- 데이터셋이 불균형하면 다수 클래스가 결과를 좌우할 수 있기 때문에 정확도는 오해를 부를 수 있습니다.
- 정밀도가 높다는 것은 대개 거짓 양성이 적다는 뜻이고, 재현율이 높다는 것은 대개 거짓 음성이 적다는 뜻입니다.
- 적절한 지표는 애플리케이션과 각 오류 유형의 비용에 따라 달라집니다.
AI 분류 모델을 평가할 때 정밀도와 재현율 중 어느 것이 추상적으로 더 나은지 묻지 마십시오. 감당하기 가장 어려운 오류가 무엇인지 먼저 따져 보고, 그 오류를 드러낼 수 있는 지표를 선택해야 합니다.
혼동 행렬을 직접 계산해 보세요
건수를 바꾸며 정밀도·재현율·정확도가 어떻게 달라지는지 확인하세요. 예시 값은 실제 AI 측정 결과가 아닙니다.
전체 건수:
| 지표 | 결과 | 계산식 |
|---|---|---|
| 정밀도 | TP / (TP + FP) | |
| 재현율 | TP / (TP + FN) | |
| 정확도 | (TP + TN) / (TP + FP + FN + TN) | |
| F1 | 2TP / (2TP + FP + FN) |
