AI検索の回答は、実在する文書を引用していても、古い版に基づいていることがあります。検索拡張の仕組みでは、元の文書からインデックスへ、さらに回答へ至る経路を確認します。新しそうに見える回答は、その経路を確認する代わりにはなりません。
実際に使っているインデックス作成システムから始める
MicrosoftのAzure AI Searchドキュメントでは、インデクサーが基になるデータソースの変更検出機能を使い、新規または更新されたコンテンツを識別すると説明されています。データソースによっては追加の設定が必要です。そのため、インデックス作成の実行が完了したことは、普遍的な鮮度保証として扱うのではなく、データソースとその変更追跡設定とあわせて解釈する必要があります。
出典:Microsoft:インデクサーの実行またはリセット。
Google Cloudのドキュメントでは、ベクトルインデックスの更新と再構築は別々の運用作業として扱われています。デプロイしたインデックスの更新ワークフローを確認してください。元文書を編集すれば、下流のインデックス作成手順がすべて自動的に完了するとは考えないでください。
出典:Google Cloud:稼働中のインデックスを更新、再構築する。
3層で確認する方法案
以下は筆者が作成したテスト手順であり、測定されたベンチマークでも、いずれかのプロバイダーの既定動作についての主張でもありません。テスト用に作成した文書と非本番インデックスを使います。自分のシステムで実際に使っているフィールド名、識別子、更新の仕組みを記録してください。
バージョン識別子が異なるごく小さなポリシー文書を2つ作成します。古い文書には、架空の記述 `support_window = 12 days` を使います。新しい文書には `support_window = 21 days` を使います。これらはテスト値であり、製品ポリシーではありません。
| 層 | 記録する内容 | 失敗から分かること |
|---|---|---|
| ソース | 文書識別子、バージョン、現在の本文 | 基になる文書に、意図した更新が含まれていない可能性があります |
| インデックス | インデックス済みの識別子、バージョン、返された本文箇所 | インデックスに古い文書や想定外の重複がまだ含まれている可能性があります |
| 回答 | 参照された識別子、引用されたバージョン、示された期間 | 回答が誤った本文箇所を選択した、または解釈した可能性があります |
まずソースを直接読みます。次に、同じ文書識別子について、自分のシステムが対応している同等の操作を使ってインデックスを直接照会します。インデックスされた本文箇所を確認した後で初めて、回答を生成するアプリケーションに架空のサポート期間について質問します。
ソースが `21 days` と示しているのに、インデックスされた本文箇所が `12 days` と示している場合は、回答プロンプトを変更する前に取り込みとインデックス作成を調査します。インデックスは新しいバージョンを返すのに、回答が古いものを引用する場合は、検索フィルター、重複文書、実際にモデルへ渡された根拠を確認します。これらは調査の経路であり、特定のコンポーネントに欠陥があることの証明ではありません。
削除ケースも含める
もう利用できないはずの古い文書について、別のテストを追加します。デプロイ環境で使っている正確なコネクターとデータソースに対応した削除検出の手順を使ってください。更新テストと削除テストは、答える問いが異なります。一方に合格したことを、もう一方にも合格したものとして記録してはいけません。
テストを通すためだけに、本番インデックスをリセットしないでください。意図した動作を記録し、サポートされている更新手順を実行し、エラーや不足している設定を確認します。一般的な間隔をそのままコピーするのではなく、古い情報が残ることによる影響に応じて更新間隔を選んでください。
結果の証拠を残す
ソースのバージョン、インデックスの応答、回答、引用をまとめて保存します。最終回答のスクリーンショットだけでは、取り込みの問題なのか、回答の選択の問題なのかを見分けるために必要な情報が抜け落ちます。この手順で確認できるのは、管理された1つの更新経路だけです。検索全体の精度、セキュリティ、プロバイダーの性能を示すものではありません。
