다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

생성형 AI 애플리케이션을 출시 전에 평가하는 방법

Conceptual editorial artwork: 생성형 AI 애플리케이션을 출시 전에 평가하는 방법

생성형 AI 애플리케이션을 평가한다는 것은 유창한 답변을 감탄하며 보는 일과 다릅니다. 애플리케이션이 무엇을 해야 하는지 정의하고, 현실적인 입력으로 시험하며, 명확한 수용 기준에 비추어 출력을 확인하고, 실패가 받아들일 수 있는 수준인지, 수정 가능한지, 아니면 출시를 막아야 할 문제인지 판단해야 합니다.

이 가이드는 생성형 AI 애플리케이션이 유용한지, 그 사용 맥락에서 충분히 안전한지, 배포할 준비가 되었거나 지속적인 모니터링에 들어갈 수 있는지를 실무적으로 평가해야 하는 제품 관리자, AI 애플리케이션 소유자, 엔지니어링 리드, QA 팀, 기술 평가자를 위한 것입니다.

핵심은 하나입니다. 단일한 범용 벤치마크나 잘 다듬어진 데모에 의존하지 마십시오. 애플리케이션이 실제로 수행할 업무 안에서 평가해야 합니다.

예시로 살펴보는 평가 사례: 고객 지원 환불 도우미

다음 예시는 가상의 사례입니다. 실제로 수행한 테스트가 아니며 실제 모델 성능을 입증하지도 않습니다. 목적은 평가 사례를 어떻게 구성하는지 보여주는 데 있습니다.

애플리케이션 범위

고객 지원 도우미는 회사의 환불 정책을 사용해 환불 관련 질문에 답합니다. 제공된 정책 문구에 근거해서만 답해야 하며, 분쟁이 있거나 불명확한 사례는 고객 지원 상담원에게 에스컬레이션해야 합니다.

가상의 참조 정책 문구

고객은 제품을 사용하지 않았고 원래 포장 상태를 유지하고 있다면 구매 후 30일 이내에 환불을 요청할 수 있습니다. 디지털 다운로드는 다운로드 링크에 접속하지 않은 경우에만 환불할 수 있습니다. 회사가 잘못된 상품을 배송한 경우가 아니라면 배송비는 환불되지 않습니다. 환불 예외는 사람 지원 담당자의 승인이 필요합니다.

구체적인 입력

사용자 프롬프트: 24일 전에 실물 상품을 구매했고 배송 상자는 열었지만 제품 포장은 아직 밀봉되어 있습니다. 환불을 받을 수 있나요? 배송비도 환불되나요?

참조 답변, 관찰된 모델 출력이 아님

제품 자체를 사용하지 않았다고 가정하면, 요청이 30일 이내이고 제품 포장이 아직 밀봉되어 있으므로 고객은 환불 대상일 수 있습니다. 회사가 잘못된 상품을 배송한 경우가 아니라면 배송비는 환불되지 않습니다. 배송 상자를 연 것이 사용에 해당하는지 불확실하다면, 도우미는 에스컬레이션하거나 지원팀에 문의하도록 안내해야 합니다.

그 결과가 도출되는 이유

이 정책에는 세 가지 관련 조건이 있습니다. 요청은 30일 이내여야 하고, 제품은 사용하지 않은 상태여야 하며, 원래 포장 상태여야 합니다. 사용자의 진술은 기간 조건을 충족한다는 점을 뒷받침하고, 제품 포장이 아직 밀봉되어 있음을 시사합니다. 정책은 별도로 회사가 잘못된 상품을 발송한 경우를 제외하면 배송비는 환불되지 않는다고 명시하며, 프롬프트에는 잘못된 상품이 발송되었다는 내용이 없습니다.

이 사례의 평가 기준

  • 관련성: 답변은 환불 자격과 배송비 환불을 모두 다루어야 합니다.
  • 근거성: 답변은 다른 환불 기간이나 무료 배송 예외를 지어내서는 안 됩니다.
  • 완전성: 답변은 30일 규칙, 미사용 및 원래 포장 상태 조건, 배송비 제한을 언급해야 합니다.
  • 이관: 정책상 ‘배송 상자를 열었다’는 의미가 불분명하다면 답변은 사람에게 이관해야 합니다.
  • 안전성과 정책 준수: 예외에 대해 사람의 승인이 필요하다고 정책이 정한 경우, 어시스턴트는 승인을 약속해서는 안 됩니다.

경계 사례

사용자 프롬프트: 디지털 제품을 다운로드했지만 파일은 한 번도 열지 않았습니다. 환불받을 수 있나요?

참조 답변: 가상의 정책 문구를 기준으로 할 때 핵심 조건은 파일을 열었는지가 아니라 다운로드 링크에 접근했는지입니다. 링크에 접근했다면 어시스턴트는 환불이 명확히 허용된다고 말해서는 안 됩니다. 접근 여부를 알 수 없다면 명확히 하기 위한 질문을 하거나 사람에게 이관해야 합니다.

이 경계 사례가 중요한 이유는 모델이 사용자의 “파일은 한 번도 열지 않았다”는 표현에 집중한 나머지, 다운로드 링크에 접근했는지라는 정책의 실제 조건을 놓칠 수 있기 때문입니다.

현실적인 실패 사례: 지어낸 정책

그럴듯한 실패 사례로 어시스턴트가 “네, 60일 이내에는 환불받을 수 있으며, 개봉하지 않은 제품은 배송비도 항상 환불됩니다”라고 답할 수 있습니다.

그 답변은 유창하지만 평가에는 실패합니다. 60일이라는 기간을 지어내고, 배송비 규칙과 모순되며, 결과를 과도하게 약속합니다. 올바른 평가 대응은 이를 사소한 표현 문제로 희석해서 처리하는 것이 아닙니다. 애플리케이션이 정책 조건을 지속적으로 지어낸다면 팀은 출시 전에 검색, 프롬프트, 정책 분할 방식, 모델 선택, 가드레일 또는 에스컬레이션 규칙을 수정해야 합니다.

심각도는 중요합니다. 친근한 인사말의 오타는 위험이 낮을 수 있습니다. 그러나 지어낸 환불 약속은 고객 피해, 운영 비용, 법적 또는 규정 준수상 노출을 초래할 수 있습니다. 의료, 금융, 법률, 고용 또는 그 밖의 고영향 애플리케이션은 이 고객 지원 예시보다 더 엄격한 분야별 검토가 필요할 수 있습니다.

애플리케이션이 해야 할 일을 정의하기

먼저 평가 대상을 정해야 합니다. 생성형 AI 애플리케이션은 문서를 요약하거나, 이메일 초안을 작성하거나, 고객 질문에 답하거나, 정책 정보를 검색하거나, 코드를 생성하거나, 기록을 분류하거나, 내부 팀을 지원할 수 있습니다. 작업마다 필요한 기준은 다릅니다.

유용한 평가 개요에는 다음 사항이 정의되어야 합니다.

  • 의도한 사용자: 고객, 직원, 상담원, 분석가, 관리자 또는 기타 집단.
  • 허용되는 입력: 자유 형식 텍스트 질문, 업로드된 문서, 채팅 기록, 데이터베이스 레코드, 이미지 또는 검색된 구절.
  • 예상 출력: 답변, 요약, 인용, 초안, 구조화된 JSON, 에스컬레이션 결정 또는 거부.
  • 비즈니스 목적: 더 빠른 지원, 향상된 검색, 내부 초안 작성, 분류와 우선순위 지정, 컴플라이언스 검토 또는 그 밖의 측정 가능한 목표.
  • 허용할 수 없는 결과: 지어낸 정책, 근거 없는 의료 또는 법률 조언, 개인정보 유출, 안전하지 않은 지시, 모욕적 콘텐츠 또는 에스컬레이션 실패.
  • 운영 한계: 시스템이 알지 못하거나, 출처가 부족하거나, 범위를 벗어난 요청을 받았을 때 무엇이라고 말해야 하는지.

이 단계가 중요한 이유는 답변이 유창해도 틀릴 수 있기 때문입니다. 예를 들어 지원 어시스턴트가 환불 정책을 자신 있게 지어낸다면, 어조가 아무리 훌륭해도 성공한 것이 아닙니다.

작업에 맞는 평가 기준 선택하기

평가 기준은 모든 프로젝트에 복사해 넣는 범용 목록이 아니라 애플리케이션의 목적에서 나와야 합니다. 일반적인 평가 차원에는 관련성, 근거성, 정확성, 완전성, 안전성, 사용성, 지연 시간, 비용, 에스컬레이션 동작이 포함됩니다.

Microsoft의 Foundry 문서에서는 관련성, 근거성, 안전성 등을 포함한 여러 차원의 기본 제공 평가기를 설명하며, 평가기에는 한계가 있다는 점도 밝힙니다. 이는 이러한 차원을 평가 계획의 일부로 사용하는 근거가 될 수는 있지만, 특정 애플리케이션이 정확하거나 안전하거나 프로덕션 투입 준비가 되었다는 증거는 아닙니다. 제품별 범주와 유의 사항은 Microsoft가 설명한 Foundry의 기본 제공 평가기를 참고하십시오.

대부분의 애플리케이션 팀은 평가 기준에 최소한 다음 항목을 포함해야 합니다.

기준 확인할 사항 수용 여부를 판단하는 예시 질문
관련성 출력이 사용자의 실제 요청에 답하고 있습니까? 응답이 일반적인 정책 요약이 아니라 환불 질문을 다루었습니까?
근거성 답변이 제공되었거나 검색된 자료로 뒷받침됩니까? 각 정책 관련 주장을 출처 구절까지 추적할 수 있습니까?
정확성 답변이 해당 작업에 대해 사실적으로나 논리적으로 맞습니까? 어시스턴트가 올바른 자격 요건 규칙을 적용했습니까?
완전성 출력에 필요한 모든 요소가 포함되었습니까? 기한, 조건, 에스컬레이션 경로를 언급했습니까?
안전성 유해하거나 금지되었거나 부적절한 안내를 피했습니까? 안전하지 않거나 범위를 벗어난 요청을 거절했습니까?
사람 검토 확신이나 권한이 부족할 때 시스템이 에스컬레이션했습니까? 분쟁이 있거나 규제 대상인 사례를 담당자에게 넘겼습니까?
형식 준수 응답이 요구된 구조를 따랐습니까? 후속 처리에 사용할 수 있는 유효한 필드를 반환했습니까?
운영상 적합성 실무상의 제약 조건을 충족했습니까? 지연 시간이나 비용이 해당 사용 사례에 적합했습니까?

어떤 평가 차원이 더 중요한지는 애플리케이션에 따라 달라집니다. 창의적 아이디어 발상 도구라면 가끔 관련성이 낮은 제안을 해도 받아들일 수 있습니다. 반면 복리후생 자격 확인 도우미, 의료 접수 보조 도구, 금융 의사결정 지원 도구는 더 엄격한 검토가 필요하며, 여기서 설명한 일반 평가 프레임워크를 넘어 도메인별 추가 컴플라이언스 점검이 필요할 수 있습니다.

현실적인 평가 세트 만들기

탄탄한 평가 세트는 사람들이 실제로 애플리케이션을 어떻게 사용할지를 반영합니다. 정상 사례, 경계 사례, 적대적 입력, 모호한 요청, 고위험 시나리오를 포함해야 합니다.

다음을 포함하십시오.

  • 의도한 업무 흐름을 대표하는 사용자 프롬프트.
  • 애플리케이션이 외부 지식에 의존하는 경우 원본 문서나 검색된 구절.
  • 모델 출력을 검토하기 전에 작성한 예상 참조 답변이나 채점 지침.
  • 올바른 답이 ‘아니요’, ‘알 수 없음’ 또는 ‘에스컬레이션’인 경계 사례.
  • 프롬프트 인젝션 시도와 정책을 우회하려는 시도.
  • 범위를 벗어난 요청.
  • 정보가 누락되었거나 서로 충돌하거나 오래된 사례.
  • 어조, 형식, 거절 방식을 시험하는 예시.

데모에 나온 쉬운 프롬프트만으로 평가 세트를 만들지 마십시오. 좋은 테스트 세트는 사용자가 발견하기 전에 의미 있는 약점을 드러내야 합니다.

검색 증강 생성 애플리케이션을 평가한다면, 제공된 출처만으로는 답할 수 없는 질문도 포함하십시오. 이렇게 하면 애플리케이션이 그럴듯하지만 근거 없는 문장으로 빈틈을 메우는 대신 불확실성을 인정하는지 확인할 수 있습니다.

근거성과 출처 사용 평가하기

근거성은 생성된 답변이 애플리케이션이 사용해야 했던 자료로 뒷받침되는지를 묻습니다. 이는 검색 증강 생성, 지식 베이스 어시스턴트, 정책 봇, 문서 질의응답 도구에서 특히 중요합니다.

각 답변에 대해 다음을 점검하십시오.

  1. 사용자의 질문.
  2. 검색되었거나 제공된 원천 자료.
  3. 답변에서 제시한 주장.
  4. 각각의 주요 주장이 출처로 뒷받침되는지 여부.
  5. 답변이 출처에 있는 중요한 제한 사항을 빠뜨렸는지 여부.
  6. 모델이 출처에 없는 사실을 끌어들였는지 여부.

검색이 자동으로 정확성을 보장한다고 가정하지 마십시오. 시스템은 잘못된 구절을 검색할 수도 있고, 올바른 구절을 검색하고도 잘못 읽을 수도 있으며, 답변을 뒷받침하지 않는 출처를 인용하거나 사실을 타당하지 않은 방식으로 조합할 수도 있습니다.

Amazon Bedrock 문서는 Bedrock 리소스의 맥락에서 모델 성능과 지식 베이스 성능을 평가하는 워크플로를 설명합니다. 이는 Bedrock에서 제품별 평가 워크플로를 논의할 때 유용하지만, 모든 생성형 AI 애플리케이션이 하나의 동일한 절차를 따라야 한다는 증거로 일반화해서는 안 됩니다. 이러한 워크플로의 범위는 Amazon의 Bedrock에서 리소스 성능 평가하기 지침을 참고하십시오.

자동 평가와 사람의 검토를 함께 사용하기

자동 평가 도구는 검토 규모를 확대하는 데 도움이 될 수 있습니다. 많은 테스트 사례에서 관련성 문제, 근거 없는 주장, 안전 문제, 형식 오류가 있을 가능성을 표시할 수 있습니다. 프롬프트, 검색 설정, 문서 또는 모델 버전이 바뀔 때 회귀 테스트를 수행하는 데 특히 유용합니다.

그러나 자동 평가를 최종 증거로 여겨서는 안 됩니다. 평가 도구의 동작은 작업, 도메인, 프롬프트, 데이터 품질, 모델 동작에 따라 달라질 수 있습니다. 일부 출력은 모호성, 비즈니스 정책, 법적 해석, 사용자 피해, 브랜드 위험 또는 도메인 전문성이 관련되므로 사람의 판단이 필요합니다.

실무적인 평가 과정은 보통 세 계층으로 나뉩니다.

  1. 자동 점검: 형식 검증, 유해성 또는 안전성 선별, 관련성 채점, 근거성 점검, 그 밖에 규모를 확대해 수행할 수 있는 검토입니다.
  2. 전문가 검토: 해당 도메인, 사용자 기대, 실패의 결과를 이해하는 사람이 수행하는 평가입니다.
  3. 출시 결정: 심각도, 반복 여부, 비즈니스 위험을 바탕으로 문서화한 판단입니다.

이 계층들을 분명히 구분해야 합니다. 답변이 올바른 JSON 구조를 갖추었음을 검증기가 확인했다고 해서 그 답변이 의미상으로도 정확하다는 뜻은 아닙니다. 관련성 점수가 높다고 해서 시스템이 안전하다는 뜻도 아닙니다. 사람의 검토 역시 문제를 놓칠 수 있으므로, 대충 읽는 방식이 아니라 명확한 채점 기준에 따라 진행해야 합니다.

실무적 의사결정 규칙: 출시, 수정 또는 차단

출시 결정은 시스템이 좋아 보인다는 막연한 인상이 아니라 심각도와 반복 여부를 기준으로 해야 합니다.

다음과 같은 의사결정 규칙을 사용합니다.

결정 적합한 경우 조치
모니터링하면서 출시 실패의 심각도가 낮고 드물며, 사용자 안내나 사람에게 이관하는 방식으로 처리할 수 있습니다. 의도한 범위로 출시하고 실제 사용을 모니터링합니다.
수정 후 재시험 실패가 중간 수준이거나 반복되거나 알려진 시나리오에 집중되어 있습니다. 프롬프트, 검색, 정책, 모델 설정 또는 UX를 수정한 뒤 평가를 다시 실행합니다.
출시 차단 실패가 안전, 규정 준수, 개인정보 보호, 재무 또는 신뢰에 중대한 위험을 만듭니다. 해당 실패 양상을 해결하고 재시험하기 전에는 출시하지 않습니다.

출력을 검토하기 전에 규칙을 구체화합니다. 예를 들면 다음과 같습니다.

  • 고영향 맥락에서 안전하지 않은 규제 대상 조언이 하나라도 나오면 출시를 차단합니다.
  • 근거가 없는 정책 관련 주장이 반복되면 수정하고 다시 테스트해야 합니다.
  • 모호한 예외 사례를 상위 단계로 넘기지 못하는 경우는 모두 수정이 필요합니다.
  • 어조나 형식의 사소한 문제는 사용자의 이해나 후속 처리에 영향을 주지 않는 경우에만 허용할 수 있습니다.

정확한 기준값은 애플리케이션의 위험 수준에 따라 달라집니다. 중요한 점은 유망해 보이는 데모를 본 뒤 팀이 실패를 합리화하지 않도록 의사결정 규칙을 미리 정해 두는 것입니다.

한계를 문서화하고 출시 후 모니터링하기

평가는 한 번 발급받는 인증서가 아닙니다. 불확실성 속에서 내리는 의사결정 과정입니다.

다음 사항을 문서화합니다.

  • 평가한 애플리케이션 버전, 모델, 프롬프트, 검색 설정, 데이터 소스.
  • 평가 세트와 그것이 예상 사용 방식을 대표하는 이유.
  • 채점 기준표와 수락 기준.
  • 사용한 자동 평가기와 알려진 한계.
  • 인간 검토자의 역할과 검토 지침.
  • 발견된 실패 유형과 적용한 변경 사항.
  • 출시 결정과 그 근거.
  • 운영 환경 사용을 위한 모니터링 계획.

사용자 행동, 원본 문서, 모델, 검색 품질은 계속 변하고 출시 후에는 새로운 실패 양상이 나타나기 때문에 모니터링이 필요합니다. 애플리케이션이 지식 베이스에 의존한다면 그 지식 베이스가 업데이트될 때마다 표적 회귀 테스트를 수행해야 합니다. 프롬프트나 모델 버전이 바뀌면 알려진 약점을 드러낼 가능성이 가장 큰 사례를 다시 실행해야 합니다.

간결한 평가 워크플로

생성형 AI 애플리케이션을 어떻게 평가할지 결정할 때는 다음 워크플로를 사용합니다.

  1. 애플리케이션의 과업과 서비스를 제공할 사용자를 정의합니다.
  2. 허용할 수 없는 실패와 고위험 시나리오를 나열합니다.
  3. 관련성, 근거성, 정확성, 안전성, 완전성, 에스컬레이션 등 과업에 맞는 기준을 선택합니다.
  4. 경계 사례와 범위를 벗어난 요청을 포함해 현실적인 테스트 사례를 만듭니다.
  5. 모델 출력을 판단하기 전에 기준 답안이나 채점 기준표를 만듭니다.
  6. 도움이 되는 경우 자동 점검을 실행하되, 그 자체를 입증으로 간주하지는 않습니다.
  7. 모호하거나 영향이 크거나 주관적이거나 특정 분야에 특화된 출력에는 인간 검토를 사용합니다.
  8. 문서화된 출시, 수정 또는 차단 의사결정 규칙을 적용합니다.
  9. 한계를 기록하고 출시 후 시스템을 모니터링합니다.

가장 좋은 평가는 애플리케이션이 똑똑하게 들리는지를 묻지 않습니다. 애플리케이션이 자신의 한계 안에서, 책임 있는 결정을 뒷받침할 만큼 실제 사용에 가까운 조건에서, 맡은 일을 제대로 수행하는지를 묻습니다.