Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

ベクトル検索の仕組み:意味に基づく検索の実践ガイド

Conceptual editorial artwork: ベクトル検索の仕組み:意味に基づく検索の実践ガイド

ベクトル検索は、単語が完全に重なるかどうかだけでなく、意味に基づいて項目を取得します。文書、サポート記事、商品カタログ、レコメンデーション、検索拡張生成向けの検索を構築する場合、基本的な考え方はシンプルです。コンテンツを数値ベクトルに変換し、クエリのベクトルを保存済みのベクトルと比較して、最も近い一致を返します。

この記事では、米国を拠点に運用されるアプリケーションでセマンティック検索を評価している開発者、プロダクトマネージャー、検索チームに向けて、ベクトル検索がインデックス作成から結果表示までどのように機能するのかを、実務上のトレードオフとともに説明します。

類似度を計算し、正確な部品番号で絞る

2次元ベクトルは教材として指定した値であり、言語モデルが生成した埋め込みではありません。意味検索の品質ではなく、計算とフィルターを確認します。

クエリは[1, 0]です。内積を2本のベクトルの長さの積で割ってコサイン類似度を計算し、順に並べます。Fのベクトルが最も近くても部品はAC-1947-Dで、指定部品はAC-1947-Bです。

文書ベクトル部品
A[1, 0.1]AC-1947-B
B[0.8, 0.2]AC-1947-B
C[0.7, 0.3]AC-1947-B
D[0.1, 1]AC-1947-B
E[-0.5, 0.1]AC-1947-B
F[1, 0.05]AC-1947-D

部品フィルターなしの上位3件はF、A、Bです。AC-1947-Bで絞るとA、B、Cになります。類似度だけでは正確な製品の同一性を強制できません。ソースには6文書すべてのベクトルがあり、全スコアを表示します。

順位は人が指定した座標から生じます。埋め込みモデルが同義語を理解する証拠でも、ハイブリッド検索が常に優れる証拠でもありません。ゼロベクトルのコサイン類似度は定義できず、計算を拒否します。

Pythonソースを保存 — 追加パッケージ不要 · 基準計算結果をJSONで保存

ベクトル検索とは何か

ベクトル検索は、埋め込みに対する類似検索です。埋め込みとは、テキスト、画像、または別のデータ型を数値で表したものです。ベクトル検索システムは、laptop、charge、adapterのような単語だけをインデックス化するのではなく、各項目の意味や特徴を表す密な数値配列をインデックス化します。

Microsoftはベクトル検索について、コンテンツのベクトル表現をインデックス作成とクエリに使用するため、クエリは完全一致の用語だけでなく、ベクトル類似度に基づいて類似項目を取得できると説明しています。詳しくはMicrosoft Learn: ベクトル検索の概要で確認できます。

この違いは重要です。キーワード検索エンジンは、power adapterという正確なフレーズを含む文書に一致する場合があります。一方、ベクトル検索エンジンは、記事内でクエリと同じ言い回しが一度も使われていなくても、バッテリー充電の問題に関する関連記事を見つけられることがあります。

ベクトル検索は魔法ではなく、キーワード検索より自動的に優れているわけでもありません。別の検索手法として理解するのが適切です。類似性、言い換え、概念の一致が重要な場合には有用ですが、正確な識別子、法的文言、名称、コードを厳密に一致させる必要がある場合には、あまり適していません。

ベクトル検索の仕組みを順を追って見る

一般的なベクトル検索のワークフローには、インデックス作成とクエリ処理の2つの段階があります。

1. コンテンツを準備する

システムは、文書、サポート記事、商品説明、画像、文字起こし、チケット、その他のレコードといったコンテンツから始まります。長いテキストの場合、チームはコンテンツを小さなチャンクに分割し、検索で文書全体ではなく焦点の合った一節を取得できるようにすることがよくあります。

チャンク化は実装上の選択であり、品質を保証するものではありません。チャンクが広すぎると、有用な一節が埋もれることがあります。狭すぎると、文脈が失われることがあります。適切な方法は、コンテンツの種類とユーザーのタスクによって異なります。

2. 埋め込みを生成する

埋め込みモデルは、各項目または各チャンクをベクトルに変換します。テキストの場合、モデルはテキストを読み取り、数値表現を出力します。画像やマルチモーダルシステムでは、モデルが視覚コンテンツを比較可能なベクトル空間で表すことがあります。

埋め込みモデルは、類似性が何を意味するかを決める中心的な要素です。GoogleのMachine Learning Crash Courseでは、埋め込みは関連する項目を埋め込み空間内で互いに近く配置するため、表面的な単語が異なっていても意味的に関連する項目を取得できると説明しています。詳しくはGoogle ML Crash Course: 埋め込み空間を参照してください。

3. ベクトルをインデックスに保存する

生成されたベクトルは、通常、元のコンテンツや、タイトル、URL、商品カテゴリ、公開日、権限、言語などのメタデータとともに、ベクトルインデックスに保存されます。

インデックスがあることで、検索は実用的になります。インデックスがなければ、システムは総当たりのスキャンで、クエリを保存済みのすべてのベクトルと比較しなければなりません。規模が大きくなると、本番システムでは類似検索を高速化するために近似最近傍インデックスがよく使われますが、正確な手法は検索エンジンやデータベースによって異なります。

4. ユーザーのクエリを埋め込む

ユーザーが検索すると、システムは互換性のある埋め込みモデルにクエリを渡します。たとえば「laptop will not charge」というクエリは、インデックス化されたコンテンツと同じ埋め込み空間内の別のベクトルになります。

互換性は重要です。コンテンツのベクトルとクエリのベクトルが異なるモデルや互換性のない設定で作成されていると、類似度スコアの信頼性が低くなる可能性があります。

5. 類似度でベクトルを比較する

システムはクエリベクトルをインデックス化されたベクトルと比較します。そのうえで、類似度または距離の計算に基づき、クエリベクトルに最も近い保存済み項目である最近傍を見つけます。

一般的なランキングの概念には、次のものがあります。

  • 最近傍:クエリベクトルに最も近い、インデックス化されたベクトルです。
  • 類似度スコア:近さを推定する数値シグナルです。
  • 距離尺度:ベクトルを比較するために使う数学的な規則です。
  • Top-k検索:最も近い5件、10件、20件など、上位k件の候補を返すことです。

類似度スコアが高いということは、システムが埋め込み空間内で近いものを見つけたという意味です。その結果が事実として正しいこと、最新であること、コンプライアンスを満たしていること、あるいはユーザーにとって最良の答えであることを証明するものではありません。

6. 候補結果を返し、ランク付けする

最終的な検索結果は、ベクトル類似度から直接得られる場合もあれば、ほかのシグナルを使って再ランキングされる場合もあります。本番環境の検索体験では、ベクトルスコアに加えて、キーワード一致、新しさ、ビジネスルール、アクセス権限、メタデータフィルター、別のランキングモデルを組み合わせることがあります。

そのため、ベクトル検索で最上位に一致した結果は、疑う余地のない答えではなく、候補として扱うべきです。

埋め込みがセマンティック検索を可能にする理由

埋め込みによってベクトル検索が役立つのは、関連する項目を、学習によって得られた空間内で互いに近く配置できるためです。平たく言えば、このモデルは、関連する意味を似た数値パターンで表すように訓練されています。

たとえば、埋め込みモデルは次のような語句を互いに近く配置することがあります。

  • laptop will not charge
  • battery is not charging
  • power adapter problem
  • charging port issue

これらの語句はすべて同じ単語を共有しているわけではありませんが、同じユーザーの問題を説明している可能性があります。キーワード検索エンジンでは、同義語、ステミング、クエリ拡張、または慎重に調整されたルールがなければ、こうしたつながりの一部を見落とすことがあります。ベクトル検索エンジンは、クエリと記事をそれぞれのベクトル表現で比較するため、概念的に関連する項目を取得できます。

ここから分かることは重要です。ベクトル検索は、自然言語のクエリや言い換えに対する再現率を高められる可能性があります。一方で、制約も同じくらい重要です。意味的に近いことは、真実であることと同じではありません。結果がクエリに近くても、古かったり、不完全だったり、ユーザーの具体的なケースには誤っていたりすることがあります。

実例で見る:意味に基づいてサポート記事を検索する

以下は仮想的な例であり、実際に観測されたテストやベンチマークではありません。

入力

ユーザーが次のように検索します。

‘laptop will not charge’

サポートナレッジベースには、たとえば次のようなタイトルの記事があります。

  1. Troubleshoot AC adapter issues
  2. Check battery health in the system utility
  3. Clean and inspect the charging port
  4. Replace a cracked laptop screen
  5. Configure Wi-Fi after a router reset

適用されるルール

ベクトル検索では、埋め込まれたクエリを、埋め込まれた記事または記事チャンクと比較します。Googleが説明する埋め込み空間の考え方に基づけば、関連する意味を持つコンテンツは、関連のないコンテンツよりも近くに位置しやすくなります。Microsoftの概要によれば、ベクトル検索システムには一般に、埋め込みのためのインデックス作成段階と、入力されたクエリをベクトル化してインデックス済みベクトルと比較するクエリ段階があります。

参考結果

妥当なベクトル検索の結果セットには、次のようなものが含まれる可能性があります。

  1. Troubleshoot AC adapter issues
  2. Check battery health in the system utility
  3. Clean and inspect the charging port

これらの結果が妥当な理由

「laptop will not charge」というクエリは、電源アダプター、バッテリーの状態、充電ポートと意味的に関連しています。システムが関連するトラブルシューティング用コンテンツを見つけるために、単語が完全に一致している必要はありません。

境界事例

ユーザーが特定の部品番号、保証コード、または規制上の文言を検索する場合、ベクトル検索だけでは適切な手段ではない可能性があります。正確な文字列が重要になるため、通常はキーワード検索またはハイブリッド方式のほうが安全です。たとえば、AC-1947-BとAC-1947-Dはモデルにとって意味的に近いものとして扱われるかもしれませんが、別の部品を指す場合があります。

ベクトル検索とキーワード検索の違い

ベクトル検索とキーワード検索は、重なる部分はあるものの、異なる検索課題を解決します。Microsoftのベクトル検索の概要では、ベクトル検索をキーワード検索の万能な置き換えとして扱うのではなく、ハイブリッド検索のパターンを明示的に支持しています。

検索ニーズ より適した方式 理由
自然言語の質問 ベクトルまたはハイブリッド ユーザーは、元のコンテンツと同じ言葉を使わずに概念を説明することがあります。
言い換えと同義語 ベクトル 埋め込みは、関連する意味を互いに近くに配置できます。
正確な製品ID、請求書番号、またはエラーコード キーワード 正確な文字列が重要な手がかりになります。
法務、コンプライアンス、またはポリシーの文言 キーワードまたはハイブリッド 広い意味での意味的類似性よりも、正確な文言が重要になる場合があります。
カテゴリ、地域、日付、権限などのフィルターを使う検索 ハイブリッド ベクトル類似度で候補を取得しつつ、メタデータフィルターで制約を適用できます。
広範な企業内検索 ハイブリッド ユーザーには、意味による発見と正確な検索の両方が必要です。

キーワード検索は、語彙の一致について解釈しやすく正確であるため、今も価値があります。ベクトル検索は、同じ語彙を共有していない関連する考えを取得できるため価値があります。多くの実際のアプリケーションでは、より効果的な設計とはベクトルかキーワードかを選ぶことではなく、それらをどう組み合わせるかを決めることです。

ベクトル、キーワード、ハイブリッド検索を使い分ける場面

ユーザーの表現が予測しにくく、概念的な関連性が目的である場合は、ベクトル検索を使います。適した用途には、FAQ検索、サポートナレッジベース、レコメンデーション、文書の発見、画像の類似検索、自然言語の質問に対する検索などがあります。

正確な一致が主な要件である場合は、キーワード検索を使います。例としては、シリアル番号、SKU、氏名、住所、法令番号、コマンド名、データベースID、引用符で囲まれた語句などがあります。

作業負荷に両方のパターンが混在する場合は、ハイブリッド検索を使います。ハイブリッドシステムでは、次のようなことが考えられます。

  • 正確な識別子にはキーワード一致を使います。
  • 意味的な候補にはベクトル類似度を使います。
  • 権限、地域、公開日、コンテンツタイプに対してメタデータフィルターを適用します。
  • 追加のビジネスルールや関連性ルールを使って、結果を再ランキングします。

実務上の判断基準は、クエリをよく見ることです。表現を変えても同じコンテンツが取得されるべきなら、ベクトル検索が有用である可能性が高いです。1文字変わるだけで答えが変わる場合は、キーワード検索や厳密なフィルターの役割を大きくするべきです。

類似度とランキングでよく使われる概念

ベクトル検索の結果は、最近傍の結果として説明されることがよくあります。クエリベクトルは埋め込み空間上の一点であり、システムはその点に近いインデックス済みベクトルを探します。

最終的な結果には、いくつかの概念が影響します。

  • 埋め込みモデル:コンテンツをどのように表現するかを決めます。品質を左右する最も大きな要因の一つです。
  • インデックスされたコンテンツ:欠けているもの、古いもの、形式が整っていないものは検索で取得できません。
  • チャンク化戦略:取得される本文が焦点の合った完全なものになるかどうかを決めます。
  • 類似度指標:近さをどのように計算するかを定義します。
  • Top-k設定:後段のフィルタリングやランキングの前に、候補をいくつ取得するかを制御します。
  • メタデータフィルター:ユーザー権限やコンテンツカテゴリなど、必要な範囲内に結果を収めます。
  • ランキングパイプライン:結果を表示する前に、類似度をほかのシグナルと組み合わせます。

解釈の基本ルールは単純です。ベクトル検索が順位付けするのは類似度であり、正しさではありません。類似度は取得には役立ちますが、ソースの品質、検証、分野固有のレビューの代わりにはなりません。

現実的な失敗例

ベクトル検索は、返されたコンテンツが意味的には近く見えても実際には誤っていることがあるため、もっともらしい形で失敗する場合があります。よくある失敗例には、次のようなものがあります。

埋め込みの適合が不十分

埋め込みモデルが対象分野をうまく表現できていない場合、似た概念が十分に近くならなかったり、関係のない概念が近く見えたりすることがあります。これは専門用語を扱う場合に特に重要です。

不適切なチャンク化

チャンクに適切なキーワードが含まれていても、質問に答えるために必要な文脈が欠けている場合があります。逆に、大きすぎて取得結果が使いにくくなることもあります。

古い、または低品質のコンテンツ

ベクトル検索は、インデックスされていれば古いドキュメントも取得できます。それ自体では、ポリシーが変更されたことや製品が販売終了になったことを認識しません。

意味的には似ているが事実として誤った結果

あるノートパソコンのモデルに関する文書が、別のモデルに関するクエリに近い場合があります。メタデータフィルターや厳密な照合がなければ、関連しているように見えても実際には当てはまらない結果が表示される可能性があります。

フィルターの不足

検索結果が権限、製品ライン、地域、公開ステータスを守る必要がある場合、それらのルールは取得またはランキングのパイプラインに組み込む必要があります。類似度だけでは、こうした制約は適用されません。

RAGにおけるベクトル検索の位置づけ

検索拡張生成では、言語モデルに渡す候補コンテキストを取得するために、ベクトル検索がよく使われます。その後、モデルは回答を生成する際にそのコンテキストを利用できます。

ただし、ベクトル検索はRAGシステムを構成する一要素にすぎません。最終的な回答品質は、インデックスされたソース、埋め込みモデル、取得設定、フィルター、プロンプト設計、言語モデルの挙動、そしてシステムが引用や根拠付けをどう扱うかに左右されます。

重要な違いは次の点です。ベクトル検索は関連するコンテキストを見つけられますが、生成された回答が正確であることは保証しません。RAGパイプラインには、ユースケースに応じた評価と安全策が引き続き必要です。

構築前に検討すべき実装上のポイント

ベクトル検索を採用する前に、ユーザーがどのような関連性を必要としているのかを決めます。多くの場合、データベースの選択だけよりも、次の問いのほうが重要です。

  1. どのコンテンツを埋め込み化しますか。全文書、本文の一部、タイトル、要約、メタデータ、またはそれらの組み合わせのどれをインデックス化するのかを決めます。
  2. ドメインに合う埋め込みモデルはどれですか。検索品質は、そのモデルがコンテンツをどのように表現するかに大きく左右されます。
  3. コンテンツをどのようにチャンク化しますか。巨大なまとまりを返さず、十分な文脈を保てるチャンクの境界を選びます。
  4. どのメタデータフィルターが必要ですか。権限、日付、カテゴリ、地域は、意味的な類似性だけに任せるべきではありません。
  5. ユーザーは完全一致を必要としますか。必要な場合は、キーワード検索またはハイブリッド検索を計画します。
  6. 結果をどのように評価しますか。可能であれば、実際のクエリと人による関連性判断を使います。結果がもっともらしく見えるかどうかだけに頼ってはいけません。
  7. どのような変更が再インデックス化を必要としますか。埋め込みモデルが変わる場合、クエリとインデックス化されたコンテンツの互換性を保つために、既存のベクトルを再生成する必要があるかもしれません。
  8. 古くなったコンテンツをどのように削除または更新しますか。検索品質は、インデックス化されたコーパスを最新に保てるかどうかに左右されます。

要点

ベクトル検索は、コンテンツとクエリを埋め込みに変換し、その埋め込みをベクトルインデックスに保存し、クエリベクトルをインデックス化されたベクトルと比較して、最も近い候補を返す仕組みです。強みはセマンティック検索にあります。つまり、使われている言葉が違っていても、関連するコンテンツを見つけられることです。

正確な文言よりも意味が重要なときに使います。正確な文字列が重要なときは、キーワード検索を維持します。ユーザーがその両方を必要とする場合は、ハイブリッド検索を使います。何よりも、ベクトルの類似性は検索のためのシグナルであり、結果が正しいことの証明ではないと考えてください。