다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

검색 증강 생성(RAG)이란?

Conceptual editorial artwork: 검색 증강 생성(RAG)이란?

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 생성형 AI가 답변을 만들기 전에 외부 자료에서 관련 정보를 찾아 활용하는 방식입니다. 모델이 학습할 때 익힌 지식에만 의존하지 않고, 질문과 관련된 문서나 텍스트를 검색해 답변의 맥락으로 제공합니다.

쉽게 말해, AI가 답하기 전에 필요한 자료를 찾아 읽도록 하는 것입니다.

RAG의 초기 연구는 사전 학습된 생성 모델에 외부에서 검색한 정보를 결합하는 접근법을 제안했습니다. 논문에서는 이 외부 정보 저장소를 “비매개변수 메모리”라고 부릅니다. 연구 결과는 논문에서 다룬 과제와 실험 환경에 관한 것이며, 모든 RAG 제품의 성능을 보장하지는 않습니다. 자세한 내용은 원 논문인 지식 집약적 NLP 과제를 위한 검색 증강 생성에서 확인할 수 있습니다.

RAG의 작동 방식

RAG 시스템의 세부 구현은 플랫폼마다 다릅니다. 기본 흐름은 비슷합니다. 질문에 맞는 자료를 찾고, 그 자료를 모델에 제공한 뒤 답변을 생성합니다.

1. 참고할 자료를 모은다

먼저 시스템이 참고할 자료를 준비합니다. 제품 설명서, 사내 규정, 고객 지원 문서, 연구 노트, FAQ 등이 여기에 해당합니다. 자료가 정확하고 최신 상태인지 확인해야 합니다. 검색 시스템이 찾지 못하거나 모델에 전달하지 못한 자료는 해당 RAG 단계에서 활용할 수 없습니다.

2. 콘텐츠를 청크로 나누고 색인화한다

큰 문서는 보통 더 작은 텍스트 단위로 나눕니다. 이를 흔히 청크(chunk)라고 부릅니다. 이렇게 나눈 청크는 나중에 시스템이 검색할 수 있도록 색인화됩니다. 시스템을 설계할 때는 키워드 검색, 임베딩을 활용한 벡터 검색, 두 방식을 결합한 검색, 메타데이터 필터 등을 선택할 수 있습니다.

예를 들어 Microsoft는 Azure AI Search의 RAG를 색인에 저장된 관련 정보를 찾아 생성형 모델에 제공하는 방식으로 설명합니다. Microsoft의 세부 설명은 Azure AI Search에 특화되어 있지만, 검색한 뒤 생성한다는 큰 흐름은 RAG를 일반적으로 이해하는 데 유용합니다.

3. 사용자가 질문한다

사용자가 질의를 입력하면 시스템은 색인화된 콘텐츠에서 관련 문서나 청크를 검색합니다. 목표는 질문에 답하는 데 도움이 될 가능성이 높은 원천 자료를 찾는 것입니다.

4. 관련 맥락을 프롬프트에 추가한다

검색된 텍스트는 맥락으로 구성되어 사용자의 질문 및 시스템 지시문과 함께 생성형 모델에 전달됩니다. 이것이 RAG와 일반적인 프롬프팅의 핵심 차이입니다. 모델은 생성 시점에 질문과 관련된 외부 정보를 추가로 받습니다.

AWS도 Amazon Bedrock 지식 기반에 대해 비슷한 워크플로를 설명합니다. 원천 데이터를 청크로 나누고 색인화한 뒤, 일치하는 청크를 검색하고, 그 청크를 생성에 필요한 맥락으로 추가하는 방식입니다. 이러한 구현 세부 사항은 Amazon Bedrock에 특화된 것이며, 모든 RAG 시스템에 공통으로 요구되는 조건은 아닙니다.

5. 모델이 답변을 생성한다

마지막으로 모델은 프롬프트와 검색된 맥락을 사용해 응답을 생성합니다. 일부 RAG 시스템은 출처 표시, 원문 링크, 접근 제어 확인, 검증 단계 또는 후처리를 포함하기도 합니다. 이런 기능은 답변의 출처를 확인하고 시스템을 관리하는 데 도움이 되지만, 제대로 작동하는지 별도로 검증해야 합니다.

RAG가 중요한 이유

RAG는 최신 정보나 회사 내부 자료, 특정 분야의 전문 지식이 필요한 업무에서 특히 유용합니다. 범용 언어 모델은 그런 정보를 학습 데이터에 포함하고 있지 않을 수 있습니다. 설령 포함하고 있더라도 정보가 오래되었거나 불완전할 수 있습니다.

RAG는 생성형 AI 인터페이스를 조직이 이미 관리하고 있는 정보와 연결하는 데 도움이 될 수 있습니다. 예를 들어 회사는 직원들이 내부 문서에 대해 질문할 수 있도록 RAG를 활용하거나, 고객이 지원 지식 베이스에서 답을 찾도록 돕는 데 RAG를 사용할 수 있습니다.

그렇다고 RAG가 사실 정확성을 보장한다는 뜻은 아닙니다. RAG 시스템도 잘못된 콘텐츠를 검색하거나, 가장 적절한 출처를 놓치거나, 오래된 정보를 사용하거나, 검색된 맥락을 충실히 반영하지 않는 답변을 생성할 수 있습니다. RAG는 모델이 학습한 지식에만 의존하는 정도를 줄일 수 있지만, 환각 위험을 없애지는 못합니다.

RAG와 일반적인 LLM 프롬프팅의 차이

일반적인 LLM 프롬프팅은 보통 세 가지에 의존합니다. 사용자의 질문, 프롬프트에 포함된 지시문, 그리고 모델이 이미 학습한 패턴입니다. 필요한 정보가 프롬프트 안에 없거나 모델의 학습 내용에 신뢰할 만하게 반영되어 있지 않다면, 답변은 불완전하거나 틀릴 수 있습니다.

RAG는 여기에 검색 단계를 추가합니다. 모델이 답하기 전에 시스템이 외부 콘텐츠를 검색하고 관련 맥락을 제공합니다. 이렇게 하면 특히 답변이 모델의 내장 지식 밖에 있는 정보에 의존할 때, 답변을 실제 자료에 근거해 작성할 가능성을 높일 수 있습니다.

간단히 비교하면 다음과 같습니다.

  • 일반적인 프롬프팅: 모델은 입력한 질문과 지시문, 학습한 지식을 바탕으로 답합니다. 일반적인 글쓰기, 브레인스토밍, 사용자가 제공한 문서 요약 등에 적합합니다.
  • RAG: 시스템이 외부 자료에서 관련 내용을 찾아 모델에 함께 전달합니다. 최신 정보나 회사 내부 자료, 특정 분야의 지식이 필요한 질문에 적합합니다.

RAG와 파인튜닝의 차이

RAG와 파인튜닝은 함께 논의되는 경우가 많지만, 해결하려는 문제는 다릅니다.

파인튜닝은 추가 학습을 통해 모델을 수정하거나 조정하는 것입니다. 조직이 모델에 특정 스타일, 형식, 도메인별 동작 또는 작업 패턴을 따르게 하고 싶을 때 유용할 수 있습니다. 반면 RAG는 반드시 모델의 매개변수를 바꾸지 않고도 질의 시점에 정보를 검색합니다.

많은 경우 RAG가 매력적인 이유는 지식을 업데이트할 때 모델을 다시 학습시키는 대신 색인화된 원천 콘텐츠를 바꾸면 되기 때문입니다. 예를 들어 정책이 바뀌면 시스템은 관련 문서와 색인을 업데이트할 수 있습니다. 새 자료를 정상적으로 처리하고 검색할 수 있다면, 다음 답변은 더 새로운 자료를 검색해 사용할 수 있습니다.

그렇다고 RAG가 언제나 파인튜닝보다 낫다는 뜻은 아닙니다. 최선의 접근법은 사용 사례, 사용 가능한 데이터, 비용, 지연 시간 요구사항, 보안 요구사항, 평가 결과에 따라 달라집니다. 어떤 시스템은 RAG를 쓰고, 어떤 시스템은 파인튜닝을 쓰며, 두 가지를 함께 사용할 수도 있습니다.

흔한 RAG 활용 사례

RAG는 사용자가 정해진 자료에 근거한 답변을 필요로 하는 애플리케이션에서 자주 고려됩니다. 예시는 다음과 같습니다.

  • 엔터프라이즈 검색: 직원이 내부 문서, 정책, 지식 베이스 전반에 대해 질문합니다.
  • 고객 지원 챗봇: 챗봇이 답변하기 전에 관련 도움말 문서나 지원 문서를 검색합니다.
  • 문서 어시스턴트: 개발자, 고객 또는 내부 팀이 기술 문서에 대해 질문합니다.
  • 정책 및 절차 Q&A: 직원이 인사, 법무, 컴플라이언스 또는 운영 문서를 검색합니다.
  • 연구 어시스턴트: 사용자가 선택한 연구 자료 모음에서 관련 자료를 검색하고 요약합니다.
  • 제품 지식 어시스턴트: 영업, 지원 또는 제품 팀이 승인된 제품 정보를 질의합니다.

규제가 적용되거나 민감한 환경에서는 이러한 활용 사례에 접근 제어, 개인정보 보호, 보존, 컴플라이언스 의무를 신중하게 고려해야 합니다. RAG가 이러한 요구사항을 자동으로 해결해 주지는 않습니다.

RAG의 장점

잘 설계된 RAG는 몇 가지 실용적인 장점을 제공할 수 있습니다.

답변을 출처 자료에 근거해 작성할 수 있다

시스템이 응답을 생성하기 전에 콘텐츠를 검색하므로, 모델은 특정 문서나 텍스트를 맥락으로 활용할 수 있습니다. 답변이 승인된 문서나 내부 지식을 반영해야 할 때 특히 유용할 수 있습니다.

최신 정보와 내부 자료를 활용할 수 있다

모델의 학습 데이터에는 회사의 최신 정책, 제품 업데이트 또는 내부 지식이 포함되어 있지 않을 수 있습니다. RAG는 모델을 모델 외부에서 관리되는 색인화된 출처와 연결할 수 있습니다.

정보가 바뀔 때마다 모델을 다시 학습시킬 필요를 줄일 수 있다

핵심 문제가 변하는 정보에 대한 접근이라면, 정보가 바뀔 때마다 모델을 재학습하거나 파인튜닝하는 것보다 콘텐츠 색인을 업데이트하는 편이 더 실용적일 수 있습니다.

출처 표시가 포함되면 투명성을 높일 수 있다

일부 RAG 시스템은 답변을 생성하는 데 사용한 문서나 텍스트를 보여줍니다. 출처 표시가 정확성을 보장하지는 않지만, 사용자가 원천 자료를 확인하고 답변이 근거를 갖추었는지 평가하는 데 도움이 될 수 있습니다.

한계와 위험

RAG를 도입했다고 해서 AI의 답변을 곧바로 신뢰할 수 있는 것은 아닙니다. 흔한 한계는 다음과 같습니다.

원천 데이터 품질이 낮음

색인화된 콘텐츠가 부정확하거나, 불완전하거나, 중복되어 있거나, 오래되었다면 시스템은 좋지 않은 정보를 검색해 사용할 수 있습니다. RAG는 지식 베이스의 품질에 크게 의존합니다.

필요한 자료를 찾지 못함

검색 시스템이 관련 정보를 찾아내지 못하면 모델은 그 정보를 사용할 수 없습니다. 청크 분할, 색인화, 메타데이터, 질의 처리, 순위화는 모두 검색 품질에 영향을 줍니다.

환각과 자료의 잘못된 해석

관련 콘텐츠가 검색되더라도 모델은 여전히 근거가 없거나 부분적으로 틀린 답변을 만들 수 있습니다. 검색만으로는 모델이 검색된 맥락을 올바르게 사용할 것이라고 보장할 수 없습니다.

보안 및 접근 제어 문제

RAG 시스템은 민감한 내부 데이터에 연결될 수 있습니다. 조직은 사용자가 접근 권한이 있는 정보만 검색할 수 있도록 보장해야 합니다. 요구사항은 조직, 산업, 관할권에 따라 달라집니다.

지연 시간과 비용

RAG는 생성 과정에 자료 검색, 검색 결과 정리, 맥락 구성, 모델 추론 등의 단계를 추가합니다. 이러한 단계는 응답 시간과 운영 비용에 영향을 줄 수 있습니다.

평가의 어려움

RAG 시스템이 적절한 근거를 일관되게 검색하고 정확한 답변을 생성하는지 측정하기는 어려울 수 있습니다. 평가는 단순한 데모뿐 아니라 실제 사용자 질문을 포함해야 합니다.

RAG 시스템 평가 방법

비즈니스 워크플로에 RAG를 배포하기 전에 검색 품질과 생성 품질을 모두 평가해야 합니다. 유용한 질문은 다음과 같습니다.

  • 시스템이 실제 사용자 질문에 대해 가장 관련성 높은 원천 자료를 검색하는가?
  • 답변이 검색된 맥락에 충실한가?
  • 정보가 충분하지 않을 때 시스템이 이를 말하는가?
  • 출처 표시나 원천 참조가 정확하고 유용한가?
  • 색인화된 콘텐츠가 최신 상태이며 유지관리되고 있는가?
  • 접근 제어가 올바르게 적용되는가?
  • 일반적인 질의와 복잡한 질의에서 지연 시간은 어느 정도인가?
  • 예외적인 상황, 모호한 질문 또는 필요한 정보가 없는 상황에서 시스템은 어떻게 작동하는가?
  • 조직은 시간이 지나도 품질을 어떻게 모니터링할 것인가?

RAG를 평가할 때는 답변이 매끄럽게 읽히는지만 보아서는 안 됩니다. 실제 자료가 답변을 뒷받침하는지, 사용자에게 도움이 되는지, 안전한지, 목적에 맞는지도 확인해야 합니다.

핵심 정리

검색 증강 생성은 생성형 AI를 외부 지식과 연결하기 위한 실용적인 아키텍처입니다. RAG 시스템은 관련 정보를 검색하고, 이를 맥락으로 제공하며, 생성형 모델을 사용해 답변을 만들어냅니다.

RAG는 조직이 최신 정보, 독점 정보 또는 특정 도메인 콘텐츠를 활용하는 AI 시스템을 구축하는 데 도움이 될 수 있습니다. 하지만 결과는 구현 품질, 원천 데이터, 검색 성능, 보안 통제, 지속적인 평가에 따라 달라집니다. RAG는 답변을 출처 자료에 근거해 작성하는 데 도움이 되지만, 정확성을 보장하거나 환각을 완전히 막지는 못합니다.

직접 실행: 구버전 검색과 근거 누락을 구분하기

가상의 상점 자료로 답변 생성 전 검색 단계를 점검합니다. 아래 스크립트를 실제 실행하고 결과를 그대로 기록했습니다. 언어 모델·임베딩·통신·실제 판매자 정책을 사용하지 않으며, 완성된 RAG 시스템이나 모델 성능 실험이 아닙니다.

문서와 질문

비슷한 반품 규칙 두 버전을 의도적으로 넣었습니다. returns-v1은 구버전으로 14일, returns-v2는 최신 버전으로 7일입니다. 세 번째는 배송 문서입니다. 예시에서는 미사용 상품이며 영수증이 있고 10일이 지났다고 가정합니다. current는 사람이 지정한 메타데이터이지 진실을 자동 판별하는 기능이 아닙니다.

Python 3로 복사해 실행하기

코드를 rag_demo.py로 저장하고 python3 rag_demo.py를 실행하세요. Python 3 외의 설치나 API 키가 필요 없습니다. 모든 언어판에서 같은 실험을 재현하도록 코드 속 예문과 출력 이름은 영어로 유지했습니다.

"""Fictional retrieval/version exercise, not a full RAG or model benchmark."""
import re
DOCUMENTS = [
    {'id': 'returns-v1', 'current': False,
     'text': 'Return requests for unused items: 14 days; receipt required.'},
    {'id': 'returns-v2', 'current': True,
     'text': 'Return requests for unused items: 7 days; receipt required.'},
    {'id': 'shipping-v1', 'current': True,
     'text': 'Standard shipping takes 3 to 5 business days.'},
]
QUERY = 'return unused receipt'
def words(text):
    return set(re.findall(r'[a-z]+', text.lower()))
def retrieve(documents, current_only):
    candidates = [d for d in documents if not current_only or d['current']]
    ranked = sorted(candidates,
                    key=lambda d: len(words(QUERY) & words(d['text'])),
                    reverse=True)
    # Python's stable sort leaves the earlier document first on a tie.
    if not ranked or not (words(QUERY) & words(ranked[0]['text'])):
        return None
    return ranked[0]
def inspect(label, document, elapsed_days=10):
    if document is None:
        print(label + ': no_evidence')
        return
    match = re.search(r'(\d+) days;', document['text'])
    if not match:
        print(label + ': no_return_rule')
        return
    window = int(match.group(1))
    # Only this fictional unused-item-with-receipt case is evaluated.
    result = 'within_window' if 0 <= elapsed_days <= window else 'outside_window'
    print(f"{label}: {document['id']} window={window} day={elapsed_days} {result}")
def main():
    inspect('unfiltered', retrieve(DOCUMENTS, False))
    inspect('current_only', retrieve(DOCUMENTS, True))
    inspect('shipping_only', retrieve([DOCUMENTS[2]], True))
if __name__ == '__main__':
    main()

실제 실행 결과

unfiltered: returns-v1 window=14 day=10 within_window
current_only: returns-v2 window=7 day=10 outside_window
shipping_only: no_evidence

각 경우에 무엇이 잘못됐나요?

필터 없이 검색하면 두 반품 규칙의 키워드 점수가 같습니다. 동점에서 입력 순서를 유지하므로 구버전을 선택하고, 10일을 기간 안으로 판정합니다. 최신 문서만 먼저 고르면 7일 규칙을 선택해 10일은 기간 밖이 됩니다. 계산이 더 똑똑해진 것이 아니라 사용한 근거가 달라졌습니다.

배송 문서만 있는 경우에는 질문 단어와 겹치는 것이 없어 no_evidence를 출력합니다. 이 실습에서는 반품 기간을 만들어 내지 말고 멈춰서 누락된 정책을 요청해야 하는 상황입니다. 키워드 일치는 의도적으로 단순합니다. 실제 검색에서는 동의어를 놓치거나 무관한 문서가 더 높게 나올 수 있습니다.

입력 조건 바꿔 보기

DOCUMENTS의 순서를 뒤집어 다시 실행하세요. 동점 순서가 달라져 필터 없는 검색도 새 정책을 선택합니다. 우연히 좋아진 결과일 뿐이며, 명시적 최신 필터는 계속 returns-v2를 고릅니다. 두 반품 문서의 current를 모두 False로 바꾸면 필터 검색에는 반품 근거가 남지 않습니다. inspect의 elapsed_days를 7로 바꾸면 최신 규칙의 경계 안이며, 8이면 밖입니다.

실제 RAG 업무에 적용하기

생성 답변을 보기 전에 질문·검색된 발췌문·문서 ID·버전·유효 상태를 기록하세요. 구버전이 검색됐다면 원문 관리와 필터를 점검하세요. 올바른 원문이 들어갔는데 답변이 기간을 바꾸거나 배송 문서를 인용한다면 생성과 인용의 근거 일치를 별도로 확인하세요. current 표시도 수집 과정에서 정확히 관리되어야 쓸모가 있습니다.

이 실습으로 알 수 없는 것

출력된 기간 판정은 명시한 미사용·영수증 조건에 한정한 프로그램 비교이며 AI 생성 답변이나 반품 승인이 아닙니다. 바꿔 쓴 질문·권한·정책 충돌·시행일·개봉 상품·운영 정확도는 검증하지 않습니다. 모델을 연결할 때는 실제로 전달한 원문에 답변의 각 주장과 인용이 부합하는지 따로 확인해야 합니다.