Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

向量搜索如何工作:语义检索实用指南

Conceptual editorial artwork: 向量搜索如何工作:语义检索实用指南

向量搜索按含义检索内容,而不只是匹配完全相同的词。如果你正在为文档、支持文章、产品目录、推荐系统或检索增强生成构建搜索功能,核心思路很简单:把内容转换成数值向量,将查询向量与已存储的向量进行比较,然后返回最接近的匹配项。

本文从索引到结果说明向量搜索的工作方式,并介绍开发者、产品经理和搜索团队在评估在美国运营的应用中的语义搜索时需要权衡的实际问题。

计算相似度,再限定准确的零件编号

这些二维向量是人为指定的教学值,不是语言模型生成的嵌入。本示例验证计算和过滤,不验证语义搜索质量。

查询向量为[1, 0]。余弦相似度为点积除以两个向量长度的乘积,随后按分数排序。F的向量最近,但其零件编号是AC-1947-D,要求的编号是AC-1947-B。

文档向量零件
A[1, 0.1]AC-1947-B
B[0.8, 0.2]AC-1947-B
C[0.7, 0.3]AC-1947-B
D[0.1, 1]AC-1947-B
E[-0.5, 0.1]AC-1947-B
F[1, 0.05]AC-1947-D

未过滤时前三名是F、A、B;限定AC-1947-B后是A、B、C。仅凭相似度无法强制准确的产品身份。源码包含全部6个文档向量,并输出所有分数。

排名来自人为指定的坐标,不证明嵌入模型理解同义词,也不证明混合搜索普遍更好。零向量的余弦相似度未定义,计算会拒绝。

下载Python源码 — 无需额外软件包 · 下载基准计算结果JSON

向量搜索是什么意思

向量搜索是在嵌入向量之上进行的相似性搜索。嵌入向量是文本、图像或其他数据类型的数值表示。向量搜索系统并不只为laptop、charge或adapter这样的词建立索引,而是为密集的数值数组建立索引,用这些数组表示每个项目的含义或特征。

Microsoft 将向量搜索描述为使用内容的向量表示来进行索引和查询,因此查询可以基于向量相似性而不只是精确词项来检索相似项目,参见Microsoft Learn:向量搜索概述。

这个区别很重要。关键词引擎可能会匹配包含power adapter这一精确短语的文档。向量搜索引擎则可能找到一篇关于电池充电问题的相关文章,即使文章从未使用与查询相同的措辞。

向量搜索并不是魔法,也不会自动优于关键词搜索。更准确的理解是,它是一种不同的检索方法:当相似性、转述或概念匹配很重要时很有用;当精确标识符、法律措辞、名称或代码必须严格匹配时,则不那么理想。

向量搜索的分步工作流程

典型的向量搜索流程分为两个阶段:索引和查询。

1. 准备内容

系统从内容开始处理:文档、支持文章、产品描述、图像、文字记录、工单或其他记录。对于长文本,团队通常会把内容切分成较小的块,这样搜索可以检索到聚焦的段落,而不是整篇文档。

分块是一种实现选择,并不能保证质量。分块过宽,可能会把有用段落埋没其中;分块过窄,则可能丢失上下文。正确做法取决于内容类型和用户任务。

2. 生成嵌入向量

嵌入模型会把每个项目或每个分块转换成一个向量。对于文本,模型读取文本并输出数值表示。对于图像或多模态系统,模型可能会在可比较的向量空间中表示视觉内容。

嵌入模型处于核心位置,因为它决定了“相似”意味着什么。Google 的 Machine Learning Crash Course 解释说,嵌入会把相关项目放在嵌入空间中彼此接近的位置,因此即使表层用词不同,也能检索到语义相关的项目,参见Google 机器学习速成课程:嵌入空间。

3. 将向量存入索引

生成的向量会存储在向量索引中,通常还会与原始内容或元数据一起保存,例如标题、URL、产品类别、发布日期、权限或语言。

索引让检索变得可行。没有索引,系统就需要用暴力扫描的方式,将一次查询与每个已存储向量逐一比较。在更大规模下,生产系统通常会使用近似最近邻索引来加快相似性搜索,不过具体方法取决于搜索引擎或数据库。

4. 对用户查询进行嵌入

用户搜索时,系统会将查询送入兼容的嵌入模型。例如,“laptop will not charge”这样的查询会变成一个向量,位于与已索引内容相同的嵌入空间中。

兼容性很重要。如果内容向量和查询向量由不同模型或不兼容的设置生成,相似度分数可能会变得不可靠。

5. 按相似度比较向量

系统会将查询向量与已索引的向量进行比较,然后找出最近邻:也就是按照相似度或距离计算结果,距离查询向量最近的已存储项目。

常见的排序概念包括:

  • 最近邻:距离查询向量最近的已索引向量。
  • 相似度分数:用于估计接近程度的数值信号。
  • 距离度量:用于比较向量的数学规则。
  • Top-k 检索:返回前k个候选结果,例如最接近的5个、10个或20个项目。

相似度分数高,意味着系统在嵌入空间中找到了较接近的内容。但这并不能证明结果在事实上正确、仍然有效、符合合规要求,或就是对用户最好的答案。

6. 返回候选结果并排序

最终搜索结果可以直接来自向量相似度,也可以结合其他信号重新排序。生产环境中的搜索体验可能会把向量分数与关键词匹配、新鲜度、业务规则、访问权限、元数据过滤器,或单独的排序模型结合起来。

因此,排名最高的向量匹配结果应被视为候选项,而不是不容质疑的答案。

为什么嵌入让语义搜索成为可能

嵌入之所以让向量搜索有用,是因为它会把相关项目映射到一个学习得到的空间中相互接近的位置。用通俗的话说,模型经过训练后,会用相似的数字模式来表示相关的含义。

例如,嵌入模型可能会把这些短语放在相互接近的位置:

  • laptop will not charge
  • battery is not charging
  • power adapter problem
  • charging port issue

这些短语并不包含完全相同的词,但可能描述的是同一个用户问题。除非关键词引擎具备同义词、词干提取、查询扩展,或经过精细调校的规则,否则可能会漏掉其中一些关联。向量搜索引擎之所以能找回概念上相关的项目,是因为它比较的是查询和文章各自的向量表示。

这一点的意义很重要:向量搜索可以提高自然语言查询和改写表达的召回率。它的限制同样重要:语义接近并不等于真实。某个结果可以与查询很接近,但仍然可能已经过时、不完整,或不适用于用户的具体情况。

示例演示:按含义搜索支持文章

以下是假设示例,并非实际观察到的测试或基准结果。

输入

用户搜索:

‘laptop will not charge’

支持知识库中包含一些文章,标题例如:

  1. Troubleshoot AC adapter issues
  2. Check battery health in the system utility
  3. Clean and inspect the charging port
  4. Replace a cracked laptop screen
  5. Configure Wi-Fi after a router reset

适用规则

向量搜索会将嵌入后的查询与嵌入后的文章或文章片段进行比较。根据 Google 描述的嵌入空间理念,含义相关的内容通常应比无关内容彼此更接近。根据 Microsoft 的概述,向量搜索系统通常包含一个面向嵌入的索引阶段,以及一个查询阶段:传入的查询会被向量化,并与已索引的向量进行比较。

参考结果

一组合理的向量搜索结果可能包括:

  1. Troubleshoot AC adapter issues
  2. Check battery health in the system utility
  3. Clean and inspect the charging port

为什么这些结果说得通

查询 laptop will not charge 在语义上与电源适配器、电池健康状况和充电端口相关。系统并不需要字面用词完全匹配,也能识别相关的故障排查内容。

边界情况

如果用户搜索的是特定零件号、保修代码或监管用语,仅靠向量搜索可能并不合适。由于精确字符串很重要,关键词方法或混合方法通常更稳妥。例如,AC-1947-B 和 AC-1947-D 对模型来说可能在含义上很接近,但它们可能指代不同的零件。

向量搜索与关键词搜索

向量搜索和关键词搜索解决的是有重叠但并不相同的检索问题。Microsoft 的向量搜索概述明确支持混合搜索模式,而不是把向量搜索视为关键词搜索的通用替代品。

搜索需求 更适合的方式 原因
自然语言问题 向量或混合 用户可能会用与源内容不同的词语来描述同一个概念。
改写表达和同义词 向量 嵌入可以把相关含义放在彼此接近的位置。
精确的产品 ID、发票号码或错误代码 关键词 精确字符串是关键信号。
法律、合规或政策措辞 关键词或混合 精确表述可能比宽泛的语义相似性更重要。
带有类别、地区、日期或权限等过滤器的搜索 混合 向量相似性可以检索候选结果,而元数据过滤器用于执行约束。
广泛的企业搜索 混合 用户既需要语义发现,也需要精确查找。

关键词搜索仍然有价值,因为它对词面匹配具有可解释性和精确性。向量搜索也有价值,因为它可以检索不共享同一词汇的相关想法。在许多实际应用中,更强的设计并不是在向量和关键词之间二选一,而是决定如何把二者结合起来。

何时使用向量、关键词或混合搜索

当用户措辞难以预测,而目标是概念相关性时,应使用向量搜索。适合的场景包括 FAQ 搜索、支持知识库、推荐、文档发现、图像相似性,以及面向自然语言问题的检索。

当主要需求是精确匹配时,应使用关键词搜索。例如序列号、SKU、姓名、地址、法规条款编号、命令名称、数据库 ID 和带引号的短语。

当工作负载同时包含这两种模式时,应使用混合搜索。混合系统可能会:

  • 对精确标识符使用关键词匹配。
  • 对语义候选结果使用向量相似性。
  • 针对权限、地理位置、发布日期或内容类型应用元数据过滤器。
  • 使用额外的业务规则或相关性规则对结果重新排序。

一个实用的判断标准是查看查询本身。如果换一种说法仍应检索到同一内容,向量搜索很可能有用。如果改动一个字符就会改变答案,关键词搜索或严格过滤就应发挥更大作用。

常见的相似度与排序概念

向量搜索结果通常被称为最近邻结果。查询向量是嵌入空间中的一个点,系统会寻找该点附近的已索引向量。

有几个概念会影响最终结果:

  • 嵌入模型:决定内容如何被表示。这是影响质量的最大因素之一。
  • 已索引内容:搜索无法检索到缺失、过期或格式不佳的内容。
  • 分块策略:决定检索到的段落是否聚焦且完整。
  • 相似度度量:定义如何计算接近程度。
  • Top-k 设置:控制在后续过滤或排序之前检索多少个候选结果。
  • 元数据过滤器:将结果限定在必要边界内,例如用户权限或内容类别。
  • 排序流水线:在展示结果前,将相似度与其他信号结合起来。

主要的解读规则很简单:向量搜索排序的是相似度,而不是正确性。相似度对检索有用,但不能替代来源质量、验证或特定领域的审查。

现实中的失败场景

向量搜索可能以看似合理的方式失败,因为返回的内容可能在语义上接近,却仍然是错误的。常见失败场景包括:

嵌入模型不适配

如果嵌入模型不能很好地表示该领域,相似概念可能距离不够近,或者无关概念可能显得很接近。这一点对专业术语尤其重要。

分块不佳

某个分块可能包含正确的关键词,却缺少回答问题所需的上下文。也可能因为分块过大,导致检索结果难以使用。

内容过期或质量较低

如果过期文档已被索引,向量搜索仍可能将其检索出来。它本身并不知道某项政策已经变化,或某个产品已经停产。

语义相似但事实错误的结果

一篇关于某个笔记本电脑型号的文档,可能与另一个型号相关的查询很接近。如果没有元数据过滤器或精确匹配,系统可能会呈现一个听起来相关但并不适用的结果。

缺少过滤器

如果搜索结果必须遵守权限、产品线、地理区域或发布状态等要求,这些规则就需要成为检索或排序流水线的一部分。仅靠相似度无法强制执行这些规则。

向量搜索如何融入 RAG

在检索增强生成中,向量搜索通常用于为语言模型检索候选上下文。随后,模型可以在生成答案时使用这些上下文。

不过,向量搜索只是 RAG 系统的一个组成部分。最终答案质量取决于已索引来源、嵌入模型、检索设置、过滤器、提示设计、语言模型行为,以及系统如何处理引用或依据支撑。

关键区别在于:向量搜索可以找到相关上下文,但不能保证生成的答案准确。RAG 流水线仍需要与使用场景相匹配的评估和保护措施。

构建前需要考虑的实现问题

在采用向量搜索之前,先明确用户需要的是哪一种相关性。通常,下面这些问题比单纯选择哪种数据库更重要:

  1. 要对哪些内容生成嵌入?需要决定是索引完整文档、段落、标题、摘要、元数据,还是这些内容的组合。
  2. 哪种嵌入模型适合该领域?检索质量在很大程度上取决于模型如何表示你的内容。
  3. 内容将如何分块?应选择合适的分块边界,既保留足够上下文,又避免返回过大的文本块。
  4. 需要哪些元数据过滤条件?权限、日期、类别和地区不应交给语义相似度来处理。
  5. 用户是否需要精确匹配?如果需要,就要规划关键词搜索或混合搜索。
  6. 将如何评估结果?在可行的情况下,应使用真实查询和人工相关性判断。不要只依据结果看起来是否合理。
  7. 哪些变更需要重新索引?如果嵌入模型发生变化,可能需要重新生成现有向量,以确保查询和已索引内容仍然兼容。
  8. 将如何移除或刷新过时内容?检索质量取决于已索引语料库是否保持最新。

要点

向量搜索的工作方式,是把内容和查询转换为嵌入,将这些嵌入存入向量索引,再把查询向量与已索引向量进行比较,并返回最接近的候选结果。它的优势在于语义检索:即使措辞不同,也能找到相关内容。

当含义比精确措辞更重要时,可以使用向量搜索;当精确字符串很重要时,应保留关键词搜索;当用户两者都需要时,则使用混合搜索。最重要的是,要把向量相似度视为一种检索信号,而不是结果正确的证明。