다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

AI 편향이란 무엇이며 어떻게 점검할 수 있을까?

Conceptual editorial artwork: AI 편향이란 무엇이며 어떻게 점검할 수 있을까?

AI 편향은 AI 시스템의 데이터, 설계, 출력 또는 배포 방식에 체계적인 쏠림이 있어 사람이나 집단에 불공정하거나 부정확하거나 해로운 결과를 낳을 수 있는 상태를 말합니다. 이는 항상 의도적인 것은 아니며, 모델의 전체 정확도 점수에 늘 드러나는 것도 아닙니다.

이 가이드는 고급 머신러닝 지식을 전제로 하지 않고 편향을 실무적으로 이해하고 점검해야 하는 미국 기반 제품 관리자, 콘텐츠 팀, 학생, 초기 단계 AI 실무자를 위해 작성되었습니다. 법률 자문이 아니며, 하나의 테스트만으로 AI 시스템이 공정하다는 점을 입증할 수 있다고 주장하지도 않습니다.

AI에서 편향이란 무엇인가

AI에서 편향이란 AI 시스템이 체계적으로 치우친 방식으로 작동한다는 뜻입니다. 이러한 쏠림은 모델을 학습하거나 평가하는 데 쓰인 데이터, 사람이 부여한 라벨, 과제 설계, 선택된 특성, 의사결정에 쓰이는 임계값, 또는 시스템이 배포되는 맥락에서 비롯될 수 있습니다.

예를 들어 지원서를 선별하는 데 쓰이는 AI 모델은 지원자 집단별로 서로 다른 선발률이나 오류율을 낼 수 있습니다. 이런 차이가 곧바로 불법 차별이나 해로운 편향의 증거가 되는 것은 아니지만, 해당 시스템을 더 면밀히 살펴봐야 한다는 신호입니다.

따라서 유용한 정의는 절대적인 정의라기보다 실무적인 정의입니다. AI 편향은 어떤 사람들에게는 다른 사람들보다 결과를 덜 신뢰할 수 있게 만들거나, 덜 공평하게 만들거나, 더 해롭게 만들 수 있는 모델 행동의 패턴입니다.

AI 편향과 통계적 모델 편향

‘편향’이라는 말은 머신러닝과 공정성 논의에서 서로 다른 의미로 쓰일 수 있습니다.

기술적인 모델링 관점에서 편향은 체계적인 예측 오류를 가리킬 수 있습니다. 즉 모델이 어떤 값을 지속적으로 과대 예측하거나 과소 예측할 수 있습니다. 이런 통계적 편향은 모델 품질에 영향을 주기 때문에 중요합니다.

해로운 사회적 편향은 이와 다릅니다. 이는 AI 시스템의 출력이나 결정이 사람이나 집단에 불이익을 주어 공정성, 신뢰 또는 피해와 관련한 우려를 낳는지에 관한 문제입니다. 모델은 불공정한 대우를 만들지 않으면서도 예측 오류를 가질 수 있고, 전체 성능이 괜찮아 보이더라도 불공정한 대우를 만들어낼 수 있습니다.

이 구분이 중요한 이유는 편향이 하나의 숫자로 해결되는 문제가 아니기 때문입니다. AI 위험과 신뢰성에 관한 NIST AI 위험 관리 프레임워크 논의에서는 편향과 공정성을 모든 맥락에서 단일 지표로 결론 낼 수 있는 사안이 아니라, 더 넓은 신뢰성 및 위험 관리 문제의 일부로 다룹니다.

AI 편향은 어디에서 비롯되는가

AI 편향은 시스템 생애주기의 여러 지점에서 유입될 수 있습니다. 가장 흔한 원천은 다음과 같습니다.

대표성이 부족한 학습 또는 평가 데이터

모델을 학습하거나 평가하는 데 쓰인 데이터가 모델이 마주할 사람, 사례 또는 조건을 대표하지 못하면 모델 성능이 고르지 않을 수 있습니다. Google의 머신러닝 단기집중과정은 학습 또는 평가 데이터가 모델이 접하게 될 모집단이나 사용 사례를 대표하지 못할 때, 그리고 사람이 내린 결정이 데이터에서 무엇을 수집하고 라벨링하며 제외할지를 좌우할 때 편향이 발생할 수 있다고 설명합니다(Google ML 단기집중과정: 편향 식별).

예를 들어 어떤 시스템을 주로 특정 지역, 직업, 연령대 또는 고객 세그먼트의 데이터로 평가했다면, 다른 집단에서의 성능은 불확실할 수 있습니다.

데이터에 담긴 과거의 패턴

학습 데이터는 과거의 결정을 반영하는 경우가 많습니다. 과거의 결정이 고르지 않았거나 불완전했거나 사회적 패턴의 영향을 받았다면, 누군가 의도적으로 편향을 프로그래밍하지 않았더라도 모델은 그 패턴을 학습할 수 있습니다.

AI 편향이 의도치 않게 발생하는 경우가 많은 이유도 여기에 있습니다. 과거 기록이 시스템이 학습해야 할 사례로 취급되면, 모델은 그 기록에 담긴 패턴을 그대로 재현할 수 있습니다.

측정과 라벨링 선택

AI 시스템은 라벨과 목표 변수에서 학습합니다. 라벨에 잡음이 많거나 주관적이거나 일관되게 적용되지 않으면, 모델은 그 불일치까지 학습할 수 있습니다.

예를 들어 사람이 비슷한 지원서를 서로 다르게 라벨링하거나, 한 집단의 기록이 다른 집단보다 더 완전하다면, 모델은 기본 과제의 의미 있는 차이가 아니라 측정 방식의 차이를 반영한 패턴을 학습할 수 있습니다.

대리 변수

모델이 민감한 속성을 직접 사용하지 않더라도, 그 속성의 대리 변수처럼 작동하는 다른 특징을 사용할 수 있습니다. 어떤 맥락에서는 거주 지역, 학력, 경력, 기기 유형, 언어 패턴, 시점 정보가 집단 소속과 상관관계를 가질 수 있습니다.

대리 변수가 공정성 문제를 일으키는지는 사용 사례, 결과, 피해에 따라 달라집니다. 핵심은 모든 상관관계가 부적절하다는 뜻이 아니라, 검토자가 보호 대상 속성이 명시적으로 포함되어 있는지만 확인하면 대리 변수 때문에 편향을 발견하기 더 어려워질 수 있다는 점입니다.

목표 함수와 임계값

하나의 목표에 맞춰 최적화된 모델은 불균등한 결과를 만들 수 있습니다. 예를 들어 전체 정확도를 극대화하면 더 작은 하위 집단에서의 낮은 성능이 가려질 수 있습니다. 의사결정 임계값도 집단마다 다르게 영향을 줄 수 있습니다. 기준선을 올리거나 낮추면 거짓 양성, 거짓 음성, 선발률이 불균등하게 달라질 수 있습니다.

배포 환경 불일치

한 환경에서 평가된 모델이 다른 환경에서는 다르게 작동할 수 있습니다. 대상 집단이 바뀌거나, 입력 데이터가 다른 방식으로 수집되거나, 사용자가 예상치 못한 방식으로 도구와 상호작용할 수 있습니다. 공정성은 맥락에 좌우되므로, 한 번의 평가를 통과했다고 해서 모든 배포 환경에서 시스템이 공정하다는 사실이 입증되는 것은 아닙니다.

AI 편향이 중요한 이유

AI 편향이 중요한 이유는 많은 AI 시스템이 의사결정, 추천, 순위, 위험 추정, 기회 접근성에 영향을 미치기 때문입니다. 모델 오류가 불균등하게 분포하면 일부 사람들은 더 많은 잘못된 거절, 더 많은 오경보, 또는 덜 신뢰할 수 있는 서비스를 겪을 수 있습니다.

실무상 위험에는 다음이 포함됩니다.

  • 기회나 서비스에 대한 불평등한 접근.
  • 대표성이 낮은 집단에 대한 부정확한 예측.
  • 사람들이 설명되지 않거나 일관되지 않은 결과를 겪을 때 낮아지는 사용자 신뢰.
  • 충분히 설명하거나 모니터링할 수 없는 시스템을 배포하는 팀이 부담하는 평판 위험.
  • 관련되는 경우 자격을 갖춘 법률 및 해당 분야 전문가와 함께 검토해야 하는 규정 준수 문제.

핵심은 집계 성능만으로는 충분하지 않다는 점입니다. 모델은 전체적으로 유용해 보이더라도 특정 하위 집단에는 받아들이기 어려운 오류 패턴을 만들 수 있습니다.

AI 편향을 점검하는 방법

편향 점검은 전체 데이터셋만 볼 것이 아니라 관련 하위 집단별로 결과와 오류를 비교해야 합니다. 어떤 집단과 지표를 볼지는 사용 사례, 이용 가능한 데이터, 잠재적 피해에 따라 달라집니다.

실무적인 절차는 다음과 같습니다.

  1. 검토할 의사결정을 정의합니다. 모델이 무엇을 출력하는지, 그리고 그 출력 이후 사람 또는 자동화 시스템이 어떤 조치를 하는지 명확히 합니다.
  2. 평가에 필요한 관련 집단을 식별합니다. 적절하고 이용 가능하다면 법적으로 보호되는 속성이 포함될 수 있으며, 지역, 언어, 고객 유형, 데이터 출처처럼 의미 있는 다른 구간도 포함될 수 있습니다.
  3. 평가용 데이터셋을 구축합니다. 의도한 사용 사례를 최대한 잘 반영하는 데이터를 사용합니다. 실제 데이터가 불완전하다면 무엇이 빠져 있는지 문서화합니다.
  4. 전체 성능을 측정합니다. 이는 기준선을 제공하지만, 평가가 여기서 끝나는 것은 아닙니다.
  5. 하위 집단별 결과를 비교합니다. 선발률, 탈락률, 오류율, 거짓 양성률, 거짓 음성률 또는 결정의 결과와 맞는 다른 지표를 살펴봅니다.
  6. 중대한 격차를 조사합니다. 큰 차이가 나타나면 데이터의 대표성, 라벨, 특성, 임계값, 배포 가정을 검토해야 합니다.
  7. 한계를 문서화합니다. 하위 집단 표본이 적거나 인구통계 데이터가 없거나 라벨이 불확실하면 결과가 불안정해질 수 있습니다.
  8. 변경 후 다시 테스트합니다. 편향 점검은 지속적으로 이루어져야 하며, 특히 데이터, 사용자, 모델 버전 또는 결정 임계값이 바뀔 때는 더욱 그렇습니다.

적절한 지표는 피해의 성격에 따라 달라집니다. 선별 시스템에서는 적격자가 잘못 탈락할 수 있으므로 거짓 음성이 중요할 수 있습니다. 사기 탐지나 안전 시스템에서는 사람이 잘못 표시될 수 있으므로 거짓 양성이 중요할 수 있습니다. 많은 경우에는 둘 다 중요합니다.

이력서 선별 모델 점검을 위한 예시

다음 예시는 합성 데이터로 만든 것입니다. 실제 제품, 실제 고용주 또는 관찰된 모델 성능을 설명하지 않습니다. 목적은 팀이 하위 집단 지표를 계산하고 추가 조사가 필요한지 판단하는 방법을 보여주는 데 있습니다.

시나리오

한 회사가 이력서 선별 분류기를 평가하고 있습니다. 이 모델은 지원자를 인간 검토 단계로 넘기거나 탈락시킵니다. 이 단순화된 예시에서 평가 데이터셋에는 같은 수의 지원자를 가진 두 인구통계 집단, 그룹 A와 그룹 B가 포함되어 있습니다.

팀은 각 지원자가 해당 직무에 적격한지에 대한 기준 라벨을 가지고 있습니다. 실제 평가에서는 이 라벨의 품질과 일관성을 신중하게 검토해야 합니다.

합성 평가 데이터

집단 지원자 수 적격 지원자 부적격 지원자 선발된 적격 지원자 탈락한 적격 지원자 선발된 부적격 지원자 탈락한 부적격 지원자
그룹 A 100 50 50 40 10 10 40
그룹 B 100 50 50 30 20 5 45

이 수치를 바탕으로 유용한 지표 세 가지를 계산합니다.

1. 선발률

선발률은 모델이 다음 단계로 넘긴 지원자의 비율을 뜻합니다.

  • 그룹 A: (선발된 적격 지원자 40명 + 선발된 부적격 지원자 10명) / 100 = 50%
  • 그룹 B: (선발된 적격 지원자 30명 + 선발된 부적격 지원자 5명) / 100 = 35%

이 합성 예시에서 그룹 B는 덜 자주 다음 단계로 넘어가며, 격차는 15퍼센트포인트입니다.

2. 거짓 양성률

거짓 양성률은 부적격 지원자 중 모델이 다음 단계로 넘긴 사람의 비율을 뜻합니다.

  • 그룹 A: 10 / 50 = 20%
  • 그룹 B: 5 / 50 = 10%

이 예시에서는 그룹 A의 거짓 양성률이 더 높습니다.

3. 거짓 음성률

거짓 음성률은 적격 지원자 중 탈락한 사람의 비율을 뜻합니다.

  • 그룹 A: 10 / 50 = 20%
  • 그룹 B: 20 / 50 = 40%

이 예시에서는 그룹 B의 거짓 음성률이 더 높습니다. 합성 데이터에서 자격을 갖춘 그룹 B 지원자가 자격을 갖춘 그룹 A 지원자보다 두 배 높은 비율로 탈락하기 때문에 중요한 문제입니다.

참고 해석

합리적인 참고 답안은 다음과 같습니다. 추가 조사 없이 이 모델을 현재 상태 그대로 배포해 사용해서는 안 됩니다.

그 이유는 이 표가 불법 차별을 입증하거나 모델이 보편적으로 편향되어 있음을 입증하기 때문이 아닙니다. 실제로 그렇지 않습니다. 이유는 기회 접근에 영향을 미치는 의사결정에서 이 모델이 그룹 간에 실질적으로 다른 선발률과 거짓 음성률을 보이기 때문입니다.

팀은 잠시 중단하고 다음과 같은 질문을 조사해야 합니다.

  • 평가 데이터가 지원자 집단을 대표합니까?
  • 자격 라벨이 그룹 전반에서 일관됩니까?
  • 한 그룹의 데이터에서 중요한 자격 요건이 누락되어 있습니까?
  • 일부 특성이 그룹 소속의 대리 변수로 작용하고 있습니까?
  • 다른 의사결정 임계값을 적용하면 한 격차는 줄어들지만 다른 격차는 악화될 수 있습니까?
  • 모델을 자동 탈락에 쓰기보다 인간 검토가 포함된 의사결정 지원 용도로 제한해야 합니까?

경계 사례

평가 세트에 그룹 B 지원자가 다섯 명뿐이었다면 큰 백분율 차이는 불안정할 수 있습니다. 한두 건의 결과만 바뀌어도 지표가 크게 달라질 수 있습니다. 그렇다고 그 우려를 무시해도 된다는 뜻은 아니며, 팀에 더 많은 데이터, 통계적 검토 또는 더 신중한 배포 결정이 필요하다는 뜻입니다.

실무적인 의사결정 규칙

이 규칙은 공정성 인증서가 아니라 선별 도구로 사용하십시오.

관련 그룹 간 선발률이나 오류율이 실질적으로 다르다면, 팀이 데이터 대표성, 라벨, 특성, 임계값, 감독 체계를 조사할 때까지 배포를 중단하거나 모델에 대한 의존을 제한해야 합니다.

이 규칙은 의도적으로 보수적입니다. 모든 차이가 해로운 편향이라는 뜻은 아닙니다. 어떤 차이는 과제별 설명이 가능할 수 있습니다. 그러나 전체 정확도가 괜찮아 보인다는 이유만으로 실질적인 격차를 가볍게 넘겨서는 안 됩니다.

공정성 지표는 서로 충돌할 수도 있습니다. 거짓 양성을 줄이면 거짓 음성이 늘어날 수 있고, 한 그룹에 도움이 되도록 임계값을 바꾸면 다른 그룹에 영향을 줄 수 있습니다. 그래서 지표 선택은 의사결정, 영향을 받는 사람들, 그리고 팀이 줄이려는 구체적인 피해와 연결되어야 합니다.

현실적인 실패 사례: 정확도가 하위 집단의 피해를 가릴 때

또 다른 합성 평가를 생각해 보겠습니다. 한 모델을 1,000건의 사례로 테스트합니다.

그룹 사례 수 정확한 예측 정확도 거짓 음성률
그룹 A 900 810 90% 10%
그룹 B 100 80 80% 35%
전체 1,000 890 89% 전체 정확도만으로는 세부 정보가 충분하지 않음

팀이 대표 지표만 검토한다면 전체 정확도 89%는 좋아 보일 수 있습니다. 그러나 하위 집단 표를 보면 그룹 B는 정확도가 더 낮고 거짓 음성률이 훨씬 높습니다.

이것이 하위 집단 분석이 필요한 이유입니다. 집계 지표는 데이터세트에서 가장 큰 그룹의 영향을 크게 받을 수 있습니다. 더 작거나 과소대표된 집단은 전체 점수가 여전히 괜찮아 보이는 가운데 훨씬 나쁜 결과를 겪을 수 있습니다.

편향 점검으로 증명할 수 없는 것

편향 점검은 필요하지만 한계가 있습니다.

첫째, 단일 지표만으로는 공정성을 입증할 수 없습니다. NIST AI 위험 관리 프레임워크는 편향과 공정성을 더 넓은 AI 신뢰성 및 위험 분석의 일부로 다룹니다. 따라서 팀은 하나의 점수만 볼 것이 아니라 맥락, 피해, 타당성, 보안, 개인정보 보호, 투명성, 거버넌스를 고려해야 합니다(NIST AI RMF).

둘째, 평가 데이터가 불완전할 수 있습니다. 인구통계학적 속성을 사용할 수 없거나, 신뢰하기 어렵거나, 일관되지 않게 수집된 경우 하위 집단 분석은 더 어려워집니다. 팀은 관련 집단을 책임 있게 평가하기 위해 개인정보 보호를 고려한 방법과 전문가의 지침이 필요할 수 있습니다.

셋째, 작은 표본은 판단을 그르치게 할 수 있습니다. 사례가 적은 하위 집단에서는 안정적이지 않은 큰 백분율 변동이 나타날 수 있습니다. 그렇다고 조사의 필요성이 사라지는 것은 아니며, 신뢰 수준과 필요한 후속 조치의 종류가 달라진다는 뜻입니다.

넷째, 라벨에도 편향이 있을 수 있습니다. ‘정답’이 주관적이거나 역사적으로 치우친 사람의 결정을 반영한다면, 모델은 같은 문제를 재현하면서도 정확해 보일 수 있습니다.

다섯째, 배포가 결과를 바꿀 수 있습니다. 과거 데이터로 평가한 모델도 사람들이 그 모델에 적응하거나, 지원자 풀이 달라지거나, 시스템이 다른 업무 흐름에서 사용되면 다르게 작동할 수 있습니다.

핵심 요약

  • AI 편향이란 무엇인가요? AI 시스템의 데이터, 설계, 출력 또는 사용에서 나타나는 체계적 치우침으로, 불공정하거나 부정확하거나 해로운 결과를 낳을 수 있습니다.
  • AI 편향이 항상 의도적인 것은 아닙니다. 대표성이 부족한 데이터, 사람의 라벨링 선택, 역사적 패턴, 대리 변수, 임계값, 배포 환경의 불일치에서 비롯될 수 있습니다.
  • 전체 정확도만으로는 충분하지 않습니다. 관련 하위 집단별로 결과와 오류를 비교해야 합니다.
  • 유용한 점검에는 선발률과 오류율이 포함됩니다. 선별과 같은 의사결정에서는 거짓 음성과 거짓 양성이 서로 다른 피해를 드러낼 수 있습니다.
  • 하나의 테스트로 공정성을 인증할 수는 없습니다. 편향 점검은 맥락에 따라 달라지며, 데이터, 모델, 임계값, 사용 사례가 바뀔 때마다 반복해야 합니다.

실무적 목표는 모델이 완벽하게 공정하다고 선언하는 것이 아닙니다. 중요한 차이를 충분히 이른 시점에 찾아 조사하고, 피할 수 있는 피해를 줄이며, 더 나은 배포 결정을 내리는 것이 목표입니다.