다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

AI가 생성한 답변의 정확성은 어떻게 확인할 수 있을까요?

Conceptual editorial artwork: AI가 생성한 답변의 정확성은 어떻게 확인할 수 있을까요?

AI가 생성한 답변은 유용한 출발점이 될 수 있지만, 최종적인 진실의 근거로 받아들여서는 안 됩니다. 가장 안전한 검증 방법은 답변을 개별 주장으로 나누고, 그 주장을 신뢰할 수 있는 출처와 대조하며, 제시된 인용이 실제로 해당 진술을 정확히 뒷받침하는지 확인하고, 여전히 불확실한 내용을 기록하는 것입니다.

이 과정이 중요한 이유는 문장 하나가 맞다고 해서 답변 전체가 신뢰할 만하다는 뜻은 아니기 때문입니다. AI의 답변에는 올바른 배경 정보와 함께 근거 없는 세부 사항, 오래된 맥락, 관련 있어 보이지만 실제로는 주장을 뒷받침하지 않는 인용이 섞여 있을 수 있습니다. OpenAI는 ChatGPT가 진실을 말하는지에 관한 도움말 문서에서, 사용자가 ChatGPT의 중요한 정보를 신뢰할 수 있는 출처와 대조해 확인하고, 생성된 텍스트가 완전히 정확하다고 가정하기보다는 초안으로 다루라고 권고합니다.

이 가이드는 AI 출력물을 신뢰하기 전에 확인할 실용적인 방법이 필요한 학생, 전문가, 연구자, 콘텐츠 제작자, 일반 사용자를 위한 것입니다.

실습: 완전한 원문과 답변을 대조해 검증하기

가상의 교육용 사례입니다. 실제 회사의 정책이나 AI 실행 결과가 아닙니다. 검증에 필요한 근거를 아래에 모두 제시합니다.

근거 카드 A

영업일 14:00까지 접수한 주문은 당일 출고합니다. 이후 주문은 다음 영업일에 출고합니다. 일반 배송은 출고 후 2~3영업일이 걸립니다. 주말에는 출고하지 않습니다.

근거 카드 B

금요일 16:30에 주문했습니다. 월~금요일이 영업일이며 공휴일은 없다고 가정합니다.

검증할 답변(의도적으로 오류 포함)

금요일 출고되어 월요일 도착하고, 특급 배송은 무료입니다.

정답을 보기 전에 세 가지 주장을 직접 판정해 보세요.

주장 판정과 이유
금요일 출고 근거와 모순됩니다. 16:30은 14:00 이후이므로 다음 영업일인 월요일에 출고합니다.
월요일 도착 제시된 일반 배송 조건과 모순됩니다. 월요일 출고 후 화요일을 1일째로 계산하면 예상 도착일은 수~목요일입니다. 확정 도착을 보장하는 것은 아닙니다.
특급 배송 무료 근거가 없습니다. 특급 배송의 제공 여부와 요금이 어느 카드에도 없습니다. 근거 부족과 거짓으로 입증된 것은 다릅니다.

수정한 답변

이 가상 조건에서는 월요일 출고, 일반 배송의 예상 도착은 수~목요일입니다. 특급 배송의 제공 여부와 요금은 확인할 수 없습니다.

직접 조건을 바꿔 보기

주문 시각을 금요일 13:30으로 바꾸면 금요일 출고, 예상 도착은 화~수요일입니다. 대신 월요일이 공휴일이면 금요일 16:30 주문은 화요일 출고, 예상 도착은 목~금요일입니다.

복사해서 쓸 검증 프롬프트

위 근거 카드 A와 B만 사용해 답변을 개별 주장으로 분리하세요. 각 주장을 근거 있음·근거와 모순·근거 없음으로 분류하고 정확한 규칙이나 계산을 제시하세요. 이후 수정 답변을 쓰세요. 제시되지 않은 요금이나 서비스를 추정하지 마세요.

통과 조건은 세 주장에 대한 판정과 영업일 계산이 모두 맞는 것입니다. 다른 AI의 답변 자체는 독립된 근거가 아닙니다. 근거 카드와 정답에 대조하세요. 이 실습은 검증 방법을 보여주며 모델의 정확도를 측정한 결과가 아닙니다.

1단계: 확인해야 할 주장을 식별하기

먼저 AI 답변을 여러 부분으로 나누십시오. 모든 문장이 같은 수준의 검증을 필요로 하는 것은 아닙니다.

다음 항목을 살펴보십시오.

  • 사실 주장: 날짜, 법률, 기술 요건, 정의, 특정 출처처럼 참인지 거짓인지 확인할 수 있는 진술입니다.
  • 수치 주장: 통계, 가격, 백분율, 순위, 측정값, 마감일 등이 여기에 해당합니다.
  • 인과 주장: 어떤 것이 다른 것을 유발하거나, 막거나, 개선하거나, 줄인다고 말하는 진술입니다.
  • 권고: 누군가가 무엇을 해야 하는지에 관한 조언입니다.
  • 가정: 답변이 전제로 삼고 있지만 명확히 밝히지 않았을 수 있는 배경 조건입니다.
  • 의견 또는 해석: 타당할 수는 있지만 여전히 맥락이 필요한 판단, 예측, 요약입니다.

검증은 개별 주장에 초점을 맞춰야 합니다. AI 답변이 어떤 출처가 존재하고, 날짜가 정확하며, 특정 정책이 미국에 적용된다고 말한다면, 각각은 별도로 확인해야 할 항목입니다. 한 부분이 정확했다는 이유로 답변 전체를 승인해서는 안 됩니다.

간단한 방법은 AI 답변을 문서에 복사한 뒤, 틀렸을 때 문제가 될 진술에만 표시하는 것입니다. 바로 그 진술들이 우선 확인 대상입니다.

2단계: 신뢰할 수 있는 출처와 답변 대조하기

주장을 추려냈다면, 주제에 적합한 출처와 비교하십시오.

예를 들면 다음과 같습니다.

  • 정부 규칙이라면 관련 정부 기관, 법령, 규정 또는 공식 지침을 확인하십시오.
  • 회사 제품 기능이라면 해당 회사의 공식 문서나 지원 페이지를 확인하십시오.
  • 학술 또는 과학 정보라면 동료 심사를 거친 연구, 공식 초록, 인정받는 전문 기관을 찾아보십시오.
  • 기술 지침이라면 공식 문서, 표준화 기구, 신뢰할 수 있는 유지관리자의 자료를 확인하십시오.
  • 시사 현안이라면 평판 있는 언론사의 최근 보도와, 가능하다면 공식 발표를 확인하십시오.

목표는 비슷한 말을 하는 다른 페이지를 하나 더 찾는 데 있지 않습니다. AI 답변의 구체적인 주장을 검증할 수 있는지 판단하는 것이 목표입니다.

미국 국립표준기술연구소(NIST)는 기계가 생성한 보고서를 평가하는 관련 방법을 설명합니다. 보고서의 주장과 인용을 원문 자료와 대조해 그 주장이 뒷받침되는지 판단하는 방식입니다. 이 내용은 NIST가 발간한 기계 생성 보고서 평가 자료에서 나온 것입니다. 같은 원리는 일상적인 AI 답변을 확인할 때도 잘 적용됩니다. 주장은 실제로 그것을 입증할 수 있는 문서나 권위 있는 출처와 대조해 확인해야 합니다.

3단계: 인용과 출처의 뒷받침 확인하기

인용이 있으면 AI 답변이 신뢰할 만해 보일 수 있지만, 인용만으로 정확성이 입증되지는 않습니다. 인용은 네 가지 확인을 통과할 때에만 유용합니다.

다음 사항을 물어보십시오.

  1. 출처가 실제로 존재합니까? 링크를 열어 보거나 문서 제목으로 검색해 실제 자료인지 확인합니다.
  2. 출처가 관련성이 있습니까? 어떤 출처는 전반적인 주제와 관련이 있어도 특정 주장과는 관련이 없을 수 있습니다.
  3. 출처가 충분히 권위 있습니까? 누가 발행했는지, 어떤 전문성이 있는지, 정확해야 할 이유가 있는지 살펴봅니다.
  4. 출처가 정확히 그 주장을 뒷받침합니까? 인용된 페이지가 AI 답변이 그 출처에 돌린 내용을 실제로 말하고 있지 않다면 그 인용에 의존해서는 안 됩니다.

사람들이 자주 건너뛰는 것은 네 번째 확인입니다. 출처가 실제로 존재하고 평판이 좋아도 AI의 진술을 뒷받침하지 않을 수 있습니다. 예를 들어 직장 안전에 관한 정부 페이지가 특정 주의 요건에 대한 구체적인 주장을 뒷받침하지 않을 수 있습니다. 한 환자 집단에 관한 의학 논문이 다른 집단을 위한 조언을 뒷받침하지 않을 수도 있습니다. 한 소프트웨어 버전에 대한 기술 문서 페이지가 다른 버전에는 적용되지 않을 수도 있습니다.

인용이 해당 주장을 뒷받침하지 않으면, 출처가 신뢰할 만해 보이더라도 그 주장은 검증되지 않은 것으로 표시하십시오.

4단계: 빠진 맥락과 과도한 확신 살펴보기

AI가 생성한 답변은 증거가 허용하는 것보다 더 확실하게 들릴 수 있습니다. 답변이 짧거나 일반화되어 있거나 조건과 한계를 설명하지 않은 채 자신 있는 어조로 쓰였을 때 특히 위험합니다.

주의해야 할 신호는 다음과 같습니다.

  • 근거 없이 “항상”, “절대”, “보장”, “입증” 같은 표현을 쓰는 폭넓은 진술.
  • 출처, 날짜, 대상 집단, 방법론이 없는 통계.
  • 관할권, 맥락, 전문가 검토가 없는 법률·의료·금융·안전 관련 조언.
  • 날짜나 출처가 없는 시사 관련 주장.
  • 버전 번호, 플랫폼 차이, 사전 요건을 빠뜨린 기술 절차.
  • 구체적인 근거 문서가 아니라 홈페이지로 연결되는 인용.
  • 상충되는 선택지나 불확실성을 설명하지 않는 권고.

맥락이 빠졌다고 해서 답변이 자동으로 틀렸다는 뜻은 아닙니다. 다만 아직 의존할 준비가 되지 않았다는 뜻입니다. 그 답변이 정확하려면 어떤 조건이 참이어야 하는지 물어보십시오.

예를 들어 마감일에 관한 주장은 주, 기관, 과세연도, 신고 자격, 시행일에 따라 달라질 수 있습니다. 기술 답변은 소프트웨어 버전에 따라 달라질 수 있습니다. 건강 관련 요약은 나이, 진단, 복용 약, 위험 요인에 따라 달라질 수 있습니다. 이런 세부 사항이 빠져 있다면 행동하기 전에 확인하십시오.

5단계: 중요한 주장을 여러 독립 출처로 교차 확인하기

중요하거나 논쟁이 있는 주장에는 출처 하나만으로 충분하지 않을 수 있습니다. 결정에 결과가 따르거나 출처들 사이에 의견이 엇갈릴 때는 여러 독립 출처를 사용하십시오.

좋은 교차 확인은 같은 내용을 반복해서 찾는 것이 아니라 독립적인 확인 근거를 찾는 것입니다. 세 개의 글이 모두 같은 원문 문서를 요약한 것이라면, 세 가지 별도의 확인 근거가 되지 않을 수 있습니다. 가능하면 원 출처를 찾아 요약 내용과 대조하십시오.

다음과 같은 경우에는 여러 출처를 사용하십시오.

  • 답변이 건강, 법률, 재정, 안전, 학업 또는 직업상 결정에 영향을 미치는 경우.
  • 주장이 놀랍거나 직관에 반하는 경우.
  • 주제가 자주 바뀌는 경우.
  • AI 답변이 구체적인 숫자, 기한 또는 요구 사항을 제시하는 경우.
  • 서로 다른 출처가 의견을 달리하는 것처럼 보이는 경우.

신뢰할 만한 출처들이 서로 충돌한다면 억지로 결론을 내리지 마십시오. 의견 차이를 기록하고, 더 최신의 출처, 1차 문서, 자격을 갖춘 전문가 또는 질문을 더 좁힌 형태 등 무엇이 그 차이를 해소할 수 있을지 확인하십시오.

6단계: 중대한 사안에는 특히 신중하게 접근하기

일부 AI 생성 답변은 틀렸을 때의 대가가 크기 때문에 더 엄격한 검토가 필요합니다. 여기에는 의료, 법률, 재정, 안전, 학업, 고용, 규정 준수, 시사 관련 주제가 포함됩니다.

이러한 주제에서는 AI 답변을 의사 결정 도구가 아니라 추가 조사를 위한 초안으로 다루십시오. 권위 있는 기관, 공식 문서 또는 자격을 갖춘 전문가를 통해 정보를 확인해야 합니다. 결과가 누군가의 건강, 권리, 돈, 안전 또는 법적 의무에 영향을 미칠 수 있다면 AI가 생성한 답변에만 의존하지 마십시오.

그렇다고 해서 중대한 사안에서 AI가 쓸모없다는 뜻은 아닙니다. AI는 질문을 정리하고, 배경 정보를 요약하며, 전문가와의 상담을 준비하는 데 도움을 줄 수 있습니다. 그러나 최종 확인은 해당 결정에 적합한 신뢰할 만한 출처에서 이루어져야 합니다.

7단계: 검증 기록 남기기

답변이 중요한 것이라면 무엇을 확인했는지 짧게 기록해 두십시오. 이는 학교 과제, 직장 내 조사, 게시할 콘텐츠, 기술 문서, 정책 결정에 특히 유용합니다.

기록은 간단해도 됩니다.

주장 확인한 출처 결과 메모
AI 답변이 어떤 규칙이 미국에 적용된다고 말함 공식 기관 페이지 확인됨 / 확인되지 않음 / 불명확 접속일과 제한 사항 포함
AI 답변이 보고서를 인용함 보고서를 열람하고 검토함 뒷받침함 / 뒷받침하지 않음 관련 섹션 기록
AI 답변이 통계를 제시함 원 출처 또는 권위 있는 데이터베이스 확인됨 / 오래됨 / 불명확 출처 날짜 기록

이렇게 하면 두 가지 효과가 있습니다. 첫째, 나중에 같은 지점을 다시 확인하는 일을 막을 수 있습니다. 둘째, 이미 아는 것과 아직 확인해야 할 것을 구분할 수 있습니다.

체크리스트: AI 생성 답변을 검증하는 방법

반복해서 적용할 수 있는 절차가 필요할 때 이 체크리스트를 사용하십시오.

  1. 주장을 식별합니다. 사실 진술, 숫자, 날짜, 권고, 전제를 표시하십시오.
  2. 위험도에 따라 우선순위를 정합니다. 틀렸을 때 가장 큰 영향을 미칠 주장을 먼저 확인하십시오.
  3. 권위 있는 출처를 찾습니다. 1차 자료, 공식 문서, 동료심사 연구, 정부 자료, 인정받는 전문가 간행물을 우선하십시오.
  4. 각 인용을 확인합니다. 인용된 출처가 실제로 존재하는지, 관련성이 있는지, 신뢰할 만한지, 그리고 해당 주장을 정확히 뒷받침하는지 확인하십시오.
  5. 과도한 확신을 경계합니다. 폭넓은 주장, 출처 없는 통계, 모호한 출처 표시, 빠진 날짜에 주의하십시오.
  6. 최신성을 확인합니다. 시사 문제, 정책, 가격, 법적 요건, 기술 기능에 대해서는 출처가 충분히 최신인지 확인하십시오.
  7. 독립적인 확인을 활용합니다. 중요하거나 논쟁이 있는 주장에 대해서는 여러 신뢰할 수 있는 출처를 비교하십시오.
  8. 중대한 의사결정은 더 높은 단계로 검토합니다. 의료, 법률, 금융, 안전 또는 규정 준수 문제라면 자격을 갖춘 전문가나 권위 있는 기관에 문의하십시오.
  9. 검증 내용을 기록합니다. 무엇을 확인했는지, 어떤 출처를 사용했는지, 무엇이 여전히 불확실한지 적어 두십시오.
  10. 답변을 수정합니다. AI 출력물을 초안으로 보고, 검증된 정보와 한계, 인용을 반영해 업데이트하십시오.

주장을 검증할 수 없을 때 해야 할 일

어떤 주장을 검증할 수 없다면 조용히 그대로 두지 마십시오. 다음 중 하나를 선택하십시오.

  • 그 주장을 삭제합니다.
  • 추가 조사를 위한 질문으로 다시 씁니다.
  • “이는 출처나 맥락에 따라 달라지는 것으로 보입니다”와 같은 단서를 덧붙입니다.
  • 가지고 있는 출처가 실제로 뒷받침하는 더 좁은 주장으로 바꿉니다.
  • 자격을 갖춘 전문가나 권위 있는 기관에 문의합니다.

올바른 선택은 사안의 중요도에 따라 달라집니다. 가벼운 브레인스토밍이라면 불확실하다는 메모만으로 충분할 수 있습니다. 그러나 출판물, 전문적 의사결정, 학술 제출물, 또는 다른 사람에게 영향을 미치는 조언의 경우, 뒷받침되지 않은 주장은 사용하기 전에 삭제하거나 검증해야 합니다.

핵심 정리

AI의 정확성을 확인하는 가장 좋은 방법은 답변 전체가 “그럴듯하게 들리는지” 묻는 것이 아닙니다. 답변을 주장별로 검증하는 것입니다. AI 응답을 초안으로 취급하고, 중요한 진술을 신뢰할 수 있는 출처와 비교하며, 인용이 실제로 근거를 제공하는지 살펴보고, 결과가 중대한 경우에는 더 엄격한 기준을 적용하십시오.

이 절차가 완벽을 보장하지는 않지만, 근거가 없거나 오래되었거나 지나치게 포괄적이거나 잘못 귀속된 정보를 의존하기 전에 찾아내는 데 도움이 됩니다.