Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · ZH-HANS

如何检查 AI 搜索索引是否已经过时

Conceptual editorial artwork: 如何检查 AI 搜索索引是否已经过时

AI 搜索答案可能引用的是真实文档,却仍然依据的是过时版本。对于检索系统,应检查从源文档到索引、再到答案的整条路径。看起来很新的答案,不能替代对这条路径的核查。

从你实际使用的索引系统查起

Microsoft 的 Azure AI Search 文档说明,索引器会利用底层数据源的变更检测能力来识别新增或更新的内容。有些数据源还需要额外配置。因此,不能把一次已完成的索引运行视为通用的时效性保证,而应结合数据源及其变更跟踪配置一起解读。

来源:Microsoft:运行或重置索引器。

Google Cloud 文档把更新向量索引和重建向量索引列为不同的运维工作。应检查你所部署索引的更新流程;不要假设只要编辑了源文档,下游每一个索引步骤就会自动完成。

来源:Google Cloud:更新并重建活动索引。

一种拟议的三层检查方法

以下是作者设计的测试流程,不是经过测量的基准测试,也不是对任一提供商默认行为的断言。请使用合成文档和非生产索引。记录你自己系统中的实际字段名、标识符和更新机制。

创建两个很小的政策文档,并使用不同的版本标识符。在较旧的文档中使用虚构表述 `support_window = 12 days`。在较新的文档中使用 `support_window = 21 days`。这些是测试值,不是产品政策。

层级 记录内容 失败结果说明什么
来源 文档标识符、版本和当前文本 底层文档可能不包含预期的更新
索引 已编入索引的标识符、版本和返回的段落 索引中可能仍包含旧文档,或包含意外的重复文档
答案 引用的标识符、引用的版本和写明的时长 答案可能选择了错误段落,或对段落作出了错误解读

先直接读取源文档。然后针对同一个文档标识符直接查询索引,使用你系统支持的等效操作。只有在检查过已编入索引的段落之后,才应向生成答案的应用询问那个虚构的支持窗口。

如果源文档显示 `21 days`,但已编入索引的段落显示 `12 days`,应先调查摄取和索引过程,再修改答案提示词。如果索引返回的是新版本,但答案引用的是旧版本,则应检查检索过滤器、重复文档,以及实际传给模型的证据。这些是调查路径,并不能证明某个特定组件存在缺陷。

加入删除场景

另行添加一项测试,针对一份本应不再可用的旧文档。请使用与你部署中的具体连接器和数据源相匹配的删除检测说明。更新测试和删除测试回答的是不同问题;通过其中一项,不应记录为另一项也已通过。

不要仅仅为了让测试通过而重置生产索引。应记录预期行为,运行受支持的更新流程,并检查错误或缺失的配置。刷新间隔应根据过时信息可能造成的后果来选择,而不是照搬一个通用间隔。

保留结果证据

将来源版本、索引响应、答案和引用一并保存。仅保存最终答案的截图,会缺少区分摄取问题与答案选择问题所需的信息。此流程测试的是一条受控的更新路径;它不能证明整体检索准确性、安全性或提供商性能。