벡터 검색은 단순히 정확히 같은 단어가 겹치는지를 보는 것이 아니라 의미를 기준으로 항목을 찾아냅니다. 문서, 지원 문서, 제품 카탈로그, 추천 또는 검색 증강 생성용 검색을 구축하고 있다면 핵심 아이디어는 간단합니다. 콘텐츠를 숫자 벡터로 변환하고, 쿼리 벡터를 저장된 벡터와 비교한 뒤 가장 가까운 결과를 반환하는 것입니다.
이 글에서는 미국 기반 애플리케이션에서 시맨틱 검색을 검토하는 개발자, 제품 관리자, 검색 팀을 위해 인덱싱부터 결과 반환까지 벡터 검색이 어떻게 작동하는지와 실무적인 절충점을 설명합니다.
유사도를 계산한 뒤 정확한 부품번호로 제한하기
직접 지정한 2차원 교육용 벡터이며 언어 모델로 생성한 임베딩이 아닙니다. 의미 검색 품질이 아니라 계산과 필터 동작을 살펴봅니다.
질의 벡터 [1, 0]을 사용합니다. 코사인 유사도는 내적을 두 벡터 길이의 곱으로 나눠 계산하고 점수 순으로 정렬합니다. 문서 F의 벡터가 가장 가깝지만 부품은 AC-1947-D입니다. 요청한 부품은 AC-1947-B입니다.
| 문서 | 벡터 | 부품 |
|---|---|---|
| A | [1, 0.1] | AC-1947-B |
| B | [0.8, 0.2] | AC-1947-B |
| C | [0.7, 0.3] | AC-1947-B |
| D | [0.1, 1] | AC-1947-B |
| E | [-0.5, 0.1] | AC-1947-B |
| F | [1, 0.05] | AC-1947-D |
부품 필터가 없으면 상위 3개는 F, A, B입니다. AC-1947-B로 제한하면 A, B, C입니다. 유사도만으로 정확한 제품 식별 조건이 지켜지지는 않습니다. 소스에는 문서 6개의 모든 벡터가 있으며 전체 점수를 출력합니다.
이 순위는 사람이 정한 좌표에서 나옵니다. 임베딩 모델이 동의어를 이해한다는 증거나 하이브리드 검색이 항상 우월하다는 증거가 아닙니다. 영벡터의 코사인 유사도는 정의할 수 없어 계산에서 거절합니다.
벡터 검색의 의미
벡터 검색은 임베딩을 대상으로 하는 유사도 검색입니다. 임베딩은 텍스트, 이미지 또는 다른 데이터 유형을 숫자로 표현한 것입니다. 벡터 검색 시스템은 laptop, charge, adapter 같은 단어만 인덱싱하는 대신, 각 항목의 의미나 특징을 나타내는 조밀한 숫자 배열을 인덱싱합니다.
Microsoft는 벡터 검색을 콘텐츠의 벡터 표현을 인덱싱과 쿼리에 사용하여, 쿼리가 정확히 일치하는 용어만이 아니라 벡터 유사도를 바탕으로 비슷한 항목을 검색할 수 있게 하는 방식이라고 설명합니다. 자세한 내용은 Microsoft Learn: 벡터 검색 개요에서 볼 수 있습니다.
이 차이는 중요합니다. 키워드 엔진은 power adapter라는 정확한 문구가 들어 있는 문서를 매칭할 수 있습니다. 반면 벡터 검색 엔진은 해당 글이 쿼리와 같은 표현을 전혀 쓰지 않더라도 배터리 충전 문제에 관한 관련 문서를 찾아낼 수 있습니다.
벡터 검색은 마법이 아니며, 키워드 검색보다 자동으로 더 나은 것도 아닙니다. 벡터 검색은 별도의 검색 방식으로 이해하는 편이 가장 적절합니다. 유사성, 다른 표현, 개념 매칭이 중요할 때 유용하지만, 정확한 식별자, 법률 문구, 이름 또는 코드가 반드시 정확히 일치해야 하는 경우에는 덜 적합합니다.
벡터 검색이 작동하는 단계별 방식
일반적인 벡터 검색 워크플로는 인덱싱과 쿼리라는 두 단계로 이루어집니다.
1. 콘텐츠 준비하기
시스템은 문서, 지원 문서, 제품 설명, 이미지, 녹취록, 티켓 또는 기타 레코드 같은 콘텐츠에서 시작합니다. 긴 텍스트의 경우 검색이 문서 전체가 아니라 초점이 맞는 구절을 찾아낼 수 있도록, 팀에서는 콘텐츠를 더 작은 청크로 나누는 경우가 많습니다.
청킹은 구현상의 선택일 뿐, 품질을 보장하지는 않습니다. 청크가 너무 넓으면 유용한 구절이 묻힐 수 있습니다. 청크가 너무 좁으면 맥락을 잃을 수 있습니다. 적절한 방식은 콘텐츠 유형과 사용자의 작업에 따라 달라집니다.
2. 임베딩 생성하기
임베딩 모델은 각 항목 또는 각 청크를 벡터로 변환합니다. 텍스트의 경우 모델이 텍스트를 읽고 숫자 표현을 출력합니다. 이미지나 멀티모달 시스템의 경우 모델이 시각 콘텐츠를 비교 가능한 벡터 공간에서 표현할 수 있습니다.
임베딩 모델은 유사성이 무엇을 의미하는지를 결정하므로 핵심적인 요소입니다. Google의 Machine Learning Crash Course는 임베딩이 관련 항목을 임베딩 공간에서 서로 가까이 배치한다고 설명하며, 이 때문에 표면적인 단어가 달라도 의미적으로 관련된 항목을 검색할 수 있습니다. 자세한 내용은 Google ML Crash Course: 임베딩 공간을 참고할 수 있습니다.
3. 벡터를 인덱스에 저장하기
생성된 벡터는 보통 원본 콘텐츠 또는 제목, URL, 제품 카테고리, 게시일, 권한, 언어 같은 메타데이터와 함께 벡터 인덱스에 저장됩니다.
인덱스가 있어야 검색을 실용적으로 수행할 수 있습니다. 인덱스가 없다면 시스템은 무차별 대입 방식으로 저장된 모든 벡터와 쿼리를 비교해야 합니다. 규모가 커지면 운영 시스템에서는 유사도 검색 속도를 높이기 위해 근사 최근접 이웃 인덱싱을 흔히 사용하지만, 정확한 방식은 검색 엔진이나 데이터베이스에 따라 달라집니다.
4. 사용자 쿼리 임베딩하기
사용자가 검색하면 시스템은 호환되는 임베딩 모델에 쿼리를 전달합니다. ‘laptop will not charge (노트북이 충전되지 않음)’ 같은 쿼리는 색인된 콘텐츠와 같은 임베딩 공간에 있는 또 하나의 벡터가 됩니다.
호환성은 중요합니다. 콘텐츠 벡터와 쿼리 벡터가 서로 다른 모델이나 호환되지 않는 설정으로 만들어지면 유사도 점수를 신뢰하기 어려울 수 있습니다.
5. 유사도로 벡터 비교하기
시스템은 쿼리 벡터를 색인된 벡터와 비교합니다. 그런 다음 유사도나 거리 계산에 따라 쿼리 벡터에 가장 가까운 저장 항목, 즉 최근접 이웃을 찾습니다.
대표적인 순위화 개념은 다음과 같습니다.
- 최근접 이웃: 쿼리 벡터에 가장 가까운 색인 벡터입니다.
- 유사도 점수: 얼마나 가까운지를 추정하는 수치 신호입니다.
- 거리 척도: 벡터를 비교할 때 사용하는 수학적 규칙입니다.
- Top-k 검색: 가장 가까운 항목 5개, 10개, 20개처럼 상위 k개의 후보를 반환하는 방식입니다.
유사도 점수가 높다는 것은 시스템이 임베딩 공간에서 가까운 무언가를 찾았다는 뜻입니다. 그 결과가 사실적으로 정확하거나, 최신이거나, 규정을 준수하거나, 사용자에게 최선의 답이라는 증거는 아닙니다.
6. 후보 결과 반환 및 순위화
최종 검색 결과는 벡터 유사도에서 바로 나올 수도 있고, 다른 신호를 사용해 다시 순위가 매겨질 수도 있습니다. 실제 운영 환경의 검색 경험은 벡터 점수에 키워드 일치, 최신성, 비즈니스 규칙, 접근 권한, 메타데이터 필터 또는 별도의 순위화 모델을 함께 결합할 수 있습니다.
그래서 최상위 벡터 일치 결과는 의심할 여지없는 답이 아니라 후보로 다루어야 합니다.
임베딩이 의미 기반 검색을 가능하게 하는 이유
임베딩이 벡터 검색을 유용하게 만드는 이유는 학습된 공간에서 관련 항목을 서로 가깝게 배치하기 때문입니다. 쉽게 말해, 모델은 관련된 의미를 비슷한 숫자 패턴으로 표현하도록 학습되어 있습니다.
예를 들어 임베딩 모델은 다음 문구들을 서로 가깝게 배치할 수 있습니다.
- laptop will not charge (노트북이 충전되지 않음)
- battery is not charging (배터리가 충전되지 않음)
- power adapter problem (전원 어댑터 문제)
- charging port issue (충전 포트 문제)
이 문구들은 모든 단어가 같지는 않지만 같은 사용자 문제를 설명할 수 있습니다. 키워드 엔진은 동의어, 어간 처리, 쿼리 확장 또는 정교하게 조정된 규칙이 없으면 이런 연결 일부를 놓칠 수 있습니다. 벡터 검색 엔진은 쿼리와 문서를 벡터 표현으로 비교하기 때문에 개념적으로 관련된 항목을 검색할 수 있습니다.
그 의미는 중요합니다. 벡터 검색은 자연어 쿼리와 다른 표현의 질의에 대해 재현율을 높일 수 있습니다. 한계도 그만큼 중요합니다. 의미적으로 가깝다는 것이 진실과 같지는 않습니다. 어떤 결과가 쿼리와 가깝더라도 사용자의 구체적인 상황에서는 오래되었거나, 불완전하거나, 틀릴 수 있습니다.
예제로 살펴보기: 의미로 지원 문서 검색하기
다음은 관찰된 테스트나 벤치마크가 아니라 가상의 예입니다.
입력
사용자가 다음과 같이 검색합니다.
‘laptop will not charge (노트북이 충전되지 않음)’
지원 지식 베이스에는 다음과 같은 제목의 문서가 들어 있습니다.
- Troubleshoot AC adapter issues (AC 어댑터 문제 해결)
- Check battery health in the system utility (시스템 유틸리티에서 배터리 상태 확인)
- Clean and inspect the charging port (충전 포트 청소 및 점검)
- Replace a cracked laptop screen (금이 간 노트북 화면 교체)
- Configure Wi-Fi after a router reset (라우터 재설정 후 Wi-Fi 구성)
적용 규칙
벡터 검색은 임베딩된 쿼리를 임베딩된 문서나 문서 청크와 비교합니다. Google이 설명한 임베딩 공간 개념에 따르면, 의미가 관련된 콘텐츠는 관련이 없는 콘텐츠보다 서로 더 가까이 위치하는 경향이 있습니다. Microsoft의 개요에 따르면, 벡터 검색 시스템에는 일반적으로 임베딩을 위한 인덱싱 단계와 들어온 쿼리를 벡터화한 뒤 인덱싱된 벡터와 비교하는 쿼리 단계가 있습니다.
참고 결과
합리적인 벡터 검색 결과 집합에는 다음이 포함될 수 있습니다.
- Troubleshoot AC adapter issues (AC 어댑터 문제 해결)
- Check battery health in the system utility (시스템 유틸리티에서 배터리 상태 확인)
- Clean and inspect the charging port (충전 포트 청소 및 점검)
이 결과들이 타당한 이유
“laptop will not charge”라는 쿼리는 전원 어댑터, 배터리 상태, 충전 포트와 의미적으로 관련이 있습니다. 시스템이 관련 문제 해결 콘텐츠를 식별하기 위해 정확히 같은 단어가 완벽하게 일치할 필요는 없습니다.
경계 사례
사용자가 특정 부품 번호, 보증 코드, 규제 문구를 검색한다면 벡터 검색만으로는 적절하지 않을 수 있습니다. 정확한 문자열이 중요하기 때문에 키워드 방식이나 하이브리드 방식이 보통 더 안전합니다. 예를 들어 AC-1947-B와 AC-1947-D는 모델 관점에서는 의미상 가까워 보일 수 있지만 서로 다른 부품을 가리킬 수 있습니다.
벡터 검색과 키워드 검색의 비교
벡터 검색과 키워드 검색은 서로 겹치지만 다른 검색 문제를 해결합니다. Microsoft의 벡터 검색 개요는 벡터 검색을 키워드 검색의 보편적 대체재로 다루기보다 하이브리드 검색 패턴을 명시적으로 지원합니다.
| 검색 요구 사항 | 더 적합한 방식 | 이유 |
|---|---|---|
| 자연어 질문 | 벡터 또는 하이브리드 | 사용자는 원본 콘텐츠와 같은 단어를 쓰지 않고도 개념을 설명할 수 있습니다. |
| 의역과 동의어 | 벡터 | 임베딩은 관련된 의미를 서로 가까운 위치에 놓을 수 있습니다. |
| 정확한 제품 ID, 송장 번호 또는 오류 코드 | 키워드 | 정확한 문자열이 핵심 신호입니다. |
| 법률, 컴플라이언스 또는 정책 문구 | 키워드 또는 하이브리드 | 넓은 의미적 유사성보다 정확한 문구가 더 중요할 수 있습니다. |
| 카테고리, 지역, 날짜, 권한 같은 필터를 사용하는 검색 | 하이브리드 | 벡터 유사도는 후보를 검색하고, 메타데이터 필터는 제약 조건을 적용할 수 있습니다. |
| 광범위한 기업 검색 | 하이브리드 | 사용자에게는 의미 기반 탐색과 정확한 조회가 모두 필요합니다. |
키워드 검색은 어휘 일치에서 해석 가능하고 정확하기 때문에 여전히 가치가 있습니다. 벡터 검색은 같은 어휘를 공유하지 않는 관련 아이디어를 검색할 수 있다는 점에서 가치가 있습니다. 실제 많은 애플리케이션에서 더 강한 설계는 벡터냐 키워드냐를 고르는 것이 아니라, 둘을 어떻게 결합할지 결정하는 데 있습니다.
벡터, 키워드, 하이브리드 검색을 언제 사용할까
사용자의 표현을 예측하기 어렵고 목표가 개념적 관련성일 때는 벡터 검색을 사용합니다. FAQ 검색, 지원 지식 베이스, 추천, 문서 탐색, 이미지 유사도, 자연어 질문을 위한 검색이 좋은 후보입니다.
정확한 일치가 핵심 요구 사항일 때는 키워드 검색을 사용합니다. 예로는 일련번호, SKU, 이름, 주소, 법령 번호, 명령어 이름, 데이터베이스 ID, 따옴표로 묶인 문구가 있습니다.
두 패턴이 섞인 워크로드에는 하이브리드 검색을 사용합니다. 하이브리드 시스템은 다음과 같이 구성될 수 있습니다.
- 정확한 식별자에는 키워드 일치를 사용합니다.
- 의미 기반 후보에는 벡터 유사도를 사용합니다.
- 권한, 지역, 게시일 또는 콘텐츠 유형에는 메타데이터 필터를 적용합니다.
- 추가적인 비즈니스 규칙이나 관련성 규칙을 사용해 결과를 다시 순위화합니다.
실무적인 판단 기준은 쿼리를 살펴보는 것입니다. 표현을 바꾸어도 같은 콘텐츠가 검색되어야 한다면 벡터 검색이 유용할 가능성이 큽니다. 문자 하나가 바뀌는 것만으로 답이 달라진다면 키워드 검색이나 엄격한 필터가 더 큰 역할을 해야 합니다.
일반적인 유사도와 순위화 개념
벡터 검색 결과는 흔히 최근접 이웃 결과로 설명됩니다. 쿼리 벡터는 임베딩 공간의 한 점이며, 시스템은 그 점 가까이에 있는 인덱싱된 벡터를 찾습니다.
최종 결과에는 여러 개념이 영향을 미칩니다.
- 임베딩 모델: 콘텐츠가 어떻게 표현되는지를 결정합니다. 품질을 좌우하는 가장 큰 요소 중 하나입니다.
- 인덱싱된 콘텐츠: 검색은 누락되었거나 오래되었거나 형식이 좋지 않은 콘텐츠를 찾아낼 수 없습니다.
- 청킹 전략: 검색된 구절이 초점을 잘 맞추고 완결성을 갖추는지를 결정합니다.
- 유사도 지표: 가까움을 어떻게 계산할지 정의합니다.
- Top-k 설정: 이후 필터링이나 순위화가 이루어지기 전에 몇 개의 후보를 가져올지 제어합니다.
- 메타데이터 필터: 사용자 권한이나 콘텐츠 범주처럼 필요한 경계 안에 결과가 머물도록 합니다.
- 순위화 파이프라인: 결과를 보여주기 전에 유사도를 다른 신호와 결합합니다.
핵심 해석 원칙은 단순합니다. 벡터 검색은 정확성이 아니라 유사도를 기준으로 순위를 매깁니다. 유사도는 검색에 유용하지만, 출처의 품질이나 검증, 도메인별 검토를 대신할 수는 없습니다.
현실적인 실패 사례
벡터 검색은 그럴듯해 보이는 방식으로 실패할 수 있습니다. 반환된 콘텐츠가 의미상으로는 가까워도 여전히 틀릴 수 있기 때문입니다. 흔한 실패 사례는 다음과 같습니다.
임베딩 적합도가 낮은 경우
임베딩 모델이 해당 도메인을 잘 표현하지 못하면 비슷한 개념이 충분히 가깝게 나타나지 않거나, 관련 없는 개념이 가깝게 보일 수 있습니다. 이는 전문 용어가 많은 분야에서 특히 중요합니다.
부적절한 청킹
청크에 올바른 키워드가 포함되어 있어도 질문에 답하는 데 필요한 맥락이 부족할 수 있습니다. 또는 청크가 너무 커서 검색된 결과를 사용하기 어려울 수도 있습니다.
오래되었거나 품질이 낮은 콘텐츠
벡터 검색은 인덱싱되어 있다면 오래된 문서도 가져올 수 있습니다. 정책이 바뀌었거나 제품이 단종되었다는 사실을 스스로 알지는 못합니다.
의미상으로는 비슷하지만 사실과 다른 결과
한 노트북 모델에 관한 문서가 다른 모델에 대한 쿼리와 가까울 수 있습니다. 메타데이터 필터나 정밀한 일치가 없으면 시스템은 관련 있어 보이지만 실제로는 적용되지 않는 결과를 표시할 수 있습니다.
누락된 필터
검색 결과가 권한, 제품군, 지역 또는 게시 상태를 준수해야 한다면 이러한 규칙은 검색 또는 순위화 파이프라인의 일부가 되어야 합니다. 유사도만으로는 이를 강제할 수 없습니다.
벡터 검색이 RAG에 맞물리는 방식
검색 증강 생성에서는 언어 모델에 제공할 후보 맥락을 가져오기 위해 벡터 검색을 사용하는 경우가 많습니다. 그런 다음 모델은 답변을 생성할 때 그 맥락을 활용할 수 있습니다.
그러나 벡터 검색은 RAG 시스템의 한 구성 요소일 뿐입니다. 최종 답변의 품질은 인덱싱된 출처, 임베딩 모델, 검색 설정, 필터, 프롬프트 설계, 언어 모델의 동작, 그리고 시스템이 인용이나 근거 제시를 처리하는 방식에 따라 달라집니다.
핵심적인 차이는 이렇습니다. 벡터 검색은 관련 맥락을 찾을 수 있지만, 생성된 답변이 정확하다는 보장은 하지 않습니다. RAG 파이프라인에는 여전히 사용 사례에 맞는 평가와 안전장치가 필요합니다.
구축 전에 고려해야 할 구현 사항
벡터 검색을 도입하기 전에 사용자가 어떤 관련성을 필요로 하는지부터 정해야 합니다. 보통은 데이터베이스 선택 자체보다 다음 질문들이 더 중요합니다.
- 어떤 콘텐츠를 임베딩할 것인가요? 전체 문서, 구절, 제목, 요약, 메타데이터 또는 이들의 조합 가운데 무엇을 색인할지 결정해야 합니다.
- 어떤 임베딩 모델이 해당 도메인에 맞나요? 검색 품질은 모델이 콘텐츠를 어떻게 표현하느냐에 크게 좌우됩니다.
- 콘텐츠를 어떻게 청크로 나눌 것인가요? 지나치게 큰 덩어리를 반환하지 않으면서도 충분한 맥락을 보존할 수 있는 청크 경계를 선택해야 합니다.
- 어떤 메타데이터 필터가 필요한가요? 권한, 날짜, 범주, 지역 같은 조건을 의미적 유사성에만 맡겨서는 안 됩니다.
- 사용자에게 정확한 일치가 필요한가요? 그렇다면 키워드 검색이나 하이브리드 검색을 계획해야 합니다.
- 결과를 어떻게 평가할 것인가요? 가능하면 실제 질의와 사람이 판단한 관련성 평가를 사용해야 합니다. 결과가 그럴듯해 보인다는 이유만으로 의존해서는 안 됩니다.
- 어떤 변경이 재색인을 필요로 하나요? 임베딩 모델이 바뀌면 질의와 색인된 콘텐츠가 계속 호환되도록 기존 벡터를 다시 생성해야 할 수 있습니다.
- 오래된 콘텐츠를 어떻게 제거하거나 갱신할 것인가요? 검색 품질은 색인된 말뭉치가 최신 상태로 유지되는지에 달려 있습니다.
핵심 정리
벡터 검색은 콘텐츠와 질의를 임베딩으로 변환하고, 그 임베딩을 벡터 색인에 저장한 뒤, 질의 벡터를 색인된 벡터와 비교해 가장 가까운 후보를 반환하는 방식으로 작동합니다. 강점은 단어가 달라도 관련 콘텐츠를 찾아내는 의미 기반 검색에 있습니다.
정확한 표현보다 의미가 더 중요할 때 벡터 검색을 사용하세요. 정확한 문자열이 중요할 때는 키워드 검색을 유지해야 합니다. 사용자가 두 가지를 모두 필요로 한다면 하이브리드 검색을 사용하세요. 무엇보다 벡터 유사성은 검색 신호이지, 결과가 정확하다는 증거가 아니라는 점을 기억해야 합니다.
