AI 嵌入是数据的数值化表示,可让机器学习系统更容易比较不同项目。它们会把文字、文档、图像或产品等输入转换为向量——也就是一组数字——从而在数学空间中进行比较。
当精确匹配过于受限时,这种比较就很有用。客户可能会问:“如何更换我用来支付账单的银行卡?”而帮助文章写的是“更新你的付款方式”。如果措辞没有重合,关键词系统可能会漏掉二者之间的联系。基于嵌入的系统则可能检索到相关的文章,因为这两个短语在模型学到的表示中彼此接近。
先建立检索参考表,再比较嵌入
使用上文四份文档:A更改付款方式,B重置密码,C下载账单,D转移账户所有权。六个请求为E1更换扣费卡、E2取得上月账单、E3重置忘记的密码、E4转移所有权、E5解释银行卡拒付原因、E6删除个人资料。NONE表示给定文档无法回答。最后一列是为评分练习编写的虚构检索结果,并非实测嵌入排名。
| 请求 | 相关文档 | 虚构首位结果 |
|---|---|---|
| E1 | A | A |
| E2 | C | A |
| E3 | B | B |
| E4 | D | D |
| E5 | NONE | A |
| E6 | NONE | D |
六个请求中有四个能从文档获得答案。在这四个可回答请求中,虚构首位结果正确3/4,E2误取A而非C。E5和E6是另一类问题:看似相近的文档并不包含拒付原因或删除流程。系统应指出缺乏依据,而非编造指引。
不要把NONE当作某个向量距离阈值。文档是否支持答案,应与相似度和格式分开评分。真实比较应预先固定独立问题及相关性判断集,让各候选使用相同文档、切块及元数据,并记录排名、ID、分数、模型版本和设置。这些案例只说明评分方法,不证明嵌入质量或普遍适用的top-k值。
使用Python 3复现
代码仅使用标准库,不调用网络或模型。各语言使用相同练习标签。
def embeddings():
relevant = ['A','C','B','D',None,None]
invented_top = ['A','A','B','D','A','D']
answerable = [(a,b) for a,b in zip(relevant,invented_top) if a is not None]
correct = sum(a == b for a,b in answerable)
print(f'corpus_answerable={len(answerable)}/6')
print(f'top1_on_answerable={correct}/{len(answerable)}')
print('missing_evidence=E5,E6')
embeddings()
计算脚本运行结果
corpus_answerable=4/6
top1_on_answerable=3/4
missing_evidence=E5,E6
嵌入如何工作:向量、距离与相似性
嵌入模型会把输入转换为向量。向量是一串数字,这些数字会把输入放置在嵌入空间中。在这个空间里,系统可以使用距离或相似性度量来比较向量。
关键在于邻近性:模型表示为相似的项目,通常会比它表示为无关的项目更靠近。Google 的《机器学习速成课程》把这描述为一个可利用向量之间的关系来推断相似性的嵌入空间。
不过,“接近”并不意味着“客观为真”,也不意味着“像人类那样理解了它”。相似性取决于模型、训练数据、任务,以及用于比较向量的度量方法。针对通用网页文本训练或选择的模型,可能无法像适合特定领域的模型那样表示医学、法律或制造业术语。嵌入是一种有用的表示方式,但不是一张通用的意义地图。
可以用一种实用的方式来理解:
- 原始输入是人类可读的,例如一句话或一份文档。
- 嵌入是机器可读的,例如由数字组成的向量。
- 系统会比较向量,找出在嵌入空间中彼此接近的项目。
- 结果是一种相似性信号,并不能保证检索到的项目就是正确的。
为什么嵌入很重要
嵌入之所以重要,是因为许多有用的匹配并不是字面上的精确匹配,而是概念上的匹配。人们会用不同词语表达同一个想法,内容中也常常包含同义词、改写、缩写或相关描述。
例如,下面这些配对并不完全相同,但对搜索或支持系统来说可能相关:
- “更换支付账单的银行卡”和“更新付款方式”
- “取消订阅”和“结束我的套餐”
- “重置登录凭据”和“忘记密码”
当精确术语很重要时,关键词搜索可以非常出色。当天然语言表达背后的概念关系比字面词语重合更重要时,嵌入就很有用。
这正是嵌入被用于语义搜索和向量搜索的核心原因。Microsoft 的 Azure AI Search 文档说明,向量搜索会把可搜索内容和查询表示为嵌入,使系统能够基于向量相似性检索项目,而不是只依赖精确的关键词匹配。该文档描述的是 Microsoft 的实现,因此不应假定其中与服务相关的功能适用于每一个向量数据库或搜索平台。
AI 嵌入有什么用途?
嵌入可以支持多种 AI 和机器学习工作流。共同点在于比较:一旦项目被表示为向量,软件就可以基于学到的相似性来搜索、分组、排序、分类,或检测异常模式。
语义搜索和向量搜索
语义搜索的目标是按含义检索内容,而不只是依靠词语重合。基于嵌入的向量搜索是实现这一目标的一种方式:系统会将查询向量与已存储的内容向量进行比较。语义搜索是一个更广泛的目标,系统也可以结合多种检索和排序方法。
一个典型流程如下:
- 将内容拆分成可搜索的单元,例如文档、段落、产品描述或支持文章。
- 为每个单元生成一个嵌入。
- 将这些嵌入存储在搜索索引或向量数据库中。
- 将用户查询转换为嵌入。
- 检索出向量接近该查询向量的已存储项目。
这种方法适用于知识库、内部搜索、电商商品发现和文档检索。但它并不在所有情况下都自动优于关键词搜索。检索质量取决于嵌入模型、原始内容、分块策略、筛选器、排序和评估。
生成式 AI 助手的检索
嵌入常用于 AI 助手的检索流程。在检索增强生成模式中,系统会先检索相关文档或段落,然后把这些材料作为生成答案的上下文。
嵌入本身不会让生成的答案变成事实。它的作用是帮助选择可能相关的上下文。如果检索到的文档已经过时、含义模糊或本身有误,助手仍然可能给出质量很差的答案。良好的检索设计仍然需要高质量来源、元数据、排序规则和评估。
推荐
嵌入可以帮助推荐系统基于已学习到的特征比较用户、产品、文章、歌曲或视频。例如,系统可能会推荐其嵌入与某人互动过的项目较为接近的项目。具体设计取决于产品、数据和模型;仅凭相似性并不能证明推荐质量。
聚类与组织
嵌入可用于对相似项目进行分组。公司可能会对支持工单进行聚类,以发现常见投诉主题;也可能在审核前按主题对文档分组。当类别事先未知时,聚类尤其有用,但结果仍需人工检查,因为聚类可能反映出对业务决策并无意义的模式。
分类与路由
嵌入可以支持分类任务,例如将支持消息路由到计费、技术支持或账户管理。嵌入提供了一种紧凑表示,可供分类器使用。但这并不意味着不再需要样本、验证或明确的类别定义。
去重
嵌入可以帮助发现近似重复项,而不只是完全重复项。两篇帮助文章可能使用不同措辞,却回答同一个问题。两个产品条目可能用略有不同的文字描述同一件商品。向量相似性可以标记出候选项供审核,但不应被视为两条记录完全相同的确凿证据。
异常检测
嵌入还可以帮助识别与典型模式距离异常远的项目。例如,某篇文档、产品描述或支持请求如果处在异常的向量位置,可能值得审核。这种方法是否有效,很大程度上取决于数据集和领域。
示例说明:支持知识库中的嵌入
下面是一个假设示例,不是实际开展的基准测试或实测结果,也不代表对某个具体产品的判断。
假设一家公司有以下支持文档:
| 文档 | 标题 | 相关文本 |
|---|---|---|
| A | 更新你的付款方式 | “如需更换已登记的银行卡,请打开账单设置并选择添加付款方式。” |
| B | 重置你的密码 | “如果无法登录,请使用密码重置链接。” |
| C | 下载发票 | “管理员可以从账单选项卡下载月度发票。” |
| D | 更改账户所有者 | “可在账户设置中将所有权转移给另一位管理员。” |
用户搜索:
>“如何更换我用来支付账单的银行卡?”
只基于关键词的系统可能会查找“更换”“账单”和“银行卡”等完全重合的词。如果匹配到足够多的词,它可能会找到文档 A;但也可能被文档 C 干扰,因为文档 C 中包含“账单”。
基于嵌入的系统会把查询转换成向量,并与每篇支持文档的向量进行比较。在这个假设示例中,预期相关结果是文档 A,因为“更换支付账单的银行卡”“替换已登记的银行卡”和“添加付款方式”描述的是非常接近的任务。
真正的检索测试需要检查所选嵌入模型是否会把文档 A 排在那些干扰文档之前。这个示例设定了一个相关性目标,并不证明实际测得的排序。
一个边界情况可以说明这种局限。如果用户问:“为什么我的银行卡被拒付?”文档 A 可能看起来仍有一定相关性,因为两者都提到银行卡和账单,但正确答案可能需要另一篇关于付款失败、银行授权或账户状态的文档。没有高质量的原始内容、元数据筛选和评估,嵌入系统可能会检索到看似合理但实际上错误的内容。
嵌入与关键词搜索
嵌入和关键词搜索解决的是不同问题。许多生产环境中的搜索系统会同时使用二者,因为它们各自能覆盖对方可能漏掉的情况。
当读者的表达可能与存储内容不同时,适合使用嵌入:
- 用户提出的是自然语言问题。
- 内容使用了同义词或改写表达。
- 目标是检索概念上相关的段落。
- 查询具有探索性,例如“降低账户访问风险的最佳方式”。
当精确术语很关键时,应使用关键词搜索、筛选器或混合搜索:
- 产品 SKU 或零件编号,例如“ABC-123”。
- 法律或合规术语,其准确措辞很重要。
- 姓名、ID、型号、发票号码或代码。
- 嵌入模型可能无法可靠表示的罕见技术术语。
一个具体的判断标准是:查看查询内容,并询问错误的同义替换是否会带来风险。如果查询是“更换支付账单的银行卡”,语义相似性很可能有用。如果查询是“政策第 409A 条”或“零件 XJ-19”,精确匹配和元数据筛选就重要得多。
混合搜索把语义匹配与关键词匹配、结构化筛选结合起来。当你既希望按概念检索,又需要精确约束时,这种方式会很有用,例如按产品类别、文档类型、客户套餐、日期或司法管辖区进行限制。
常见失败情况:看似合理但错误的检索结果
一种常见失败情况是,检索到的内容在语义上相邻,但实际上并不符合用户意图。
例如,关于“关闭账户”的查询,可能指取消订阅、删除用户个人资料、关闭金融账户,或关闭一张内部支持工单。嵌入模型可能会找到与“账户”和“关闭”相关的文档,但正确结果取决于具体上下文。
在以下情况下,这类失败更容易发生:
- 查询本身含义不明确。
- 源语料库不完整或已经过时。
- 嵌入模型与该领域匹配不佳。
- 文档被切分成片段时遗漏了重要上下文。
- 缺少元数据筛选器。
- 系统把向量相似度当作最终答案,而不是一种排序信号。
解决办法并不只是“使用更好的嵌入”。更好的检索通常需要更清晰的内容、更合理的分块、元数据筛选器、混合排序、评估集,以及在高风险使用场景中的人工审核。
要点总结
AI 嵌入是以软件可比较的形式表示数据的向量。它们可用于语义搜索、向量搜索、AI 助手的检索工作流、推荐、聚类、分类、去重和异常检测。
它们的价值在于,即使措辞并不相同,也能匹配相关概念。它们的局限在于,相似并不等于真实。合适的方法取决于任务、数据、模型、搜索设计,以及检索到错误内容所带来的代价。
如果精确术语很重要,应使用关键词搜索或筛选器。如果含义和改写表达更重要,嵌入会有所帮助。如果两者都重要,可以考虑采用混合设计,并用所在领域的真实示例进行评估。
