Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

AIエンベディングとは何か、何に使われるのか

Conceptual editorial artwork: AIエンベディングとは何か、何に使われるのか

AIエンベディングは、機械学習システムがある項目を別の項目と比べやすくするために、データを数値で表したものです。単語、文書、画像、商品などの入力を、数学的な空間で比較できるベクトル、つまり数値のリストに変換します。

この比較は、完全一致だけでは不十分な場合に役立ちます。顧客が「請求に使うカードを変更するにはどうすればよいですか」と尋ねる一方で、ヘルプ記事には「支払い方法を更新する」と書かれていることがあります。表現が重なっていなければ、キーワード方式のシステムはその関連性を見落とすかもしれません。エンベディングにもとづくシステムなら、この2つの表現がモデルの学習した表現の中で近いため、関連する記事を取得できる場合があります。

埋め込みを比べる前に検索の参照表を作る

上の4文書を使います。Aは支払方法変更、Bはパスワード再設定、Cは請求書取得、Dはアカウント所有権移転です。質問はE1請求カード変更、E2先月の請求書取得、E3忘れたパスワードの再設定、E4所有権移転、E5カード決済拒否の理由、E6プロフィール削除です。NONEは与えられた文書では答えられないことを示します。最終列は採点練習用に作った検索結果であり、実測した埋め込み順位ではありません。

質問 関連文書 仮の検索1位
E1 A A
E2 C A
E3 B B
E4 D D
E5 NONE A
E6 NONE D

6問中4問には回答する文書があります。その4問で仮の1位結果が正しいのは3/4で、E2はCではなくAを取得します。E5とE6は別の失敗です。関連しそうな文書でも、記載のない決済拒否理由や削除手順は提供できません。根拠がない場合は限界を示し、手順を作り出さないことが必要です。

NONEを特定のベクトル距離のしきい値と見なさないでください。根拠の有無を類似度や形式とは別に採点します。実際の比較では別の質問・関連性評価セットを先に固定し、同じ文書、分割、メタデータで各候補を評価します。順位、ID、スコア、モデル版、設定を記録します。この教材は採点法を示すもので、埋め込み品質や普遍的なtop-kを証明しません。

Python 3で再現する

標準ライブラリだけを使い、ネットワークやモデルを呼び出しません。各言語で同じ演習ラベルを使います。

def embeddings():
    relevant = ['A','C','B','D',None,None]
    invented_top = ['A','A','B','D','A','D']
    answerable = [(a,b) for a,b in zip(relevant,invented_top) if a is not None]
    correct = sum(a == b for a,b in answerable)
    print(f'corpus_answerable={len(answerable)}/6')
    print(f'top1_on_answerable={correct}/{len(answerable)}')
    print('missing_evidence=E5,E6')

embeddings()

計算スクリプトの出力

corpus_answerable=4/6
top1_on_answerable=3/4
missing_evidence=E5,E6

エンベディングの仕組み:ベクトル、距離、類似性

エンベディングモデルは、入力をベクトルに変換します。ベクトルは数値の並びであり、その数値によって入力はエンベディング空間内に配置されます。その空間では、システムが距離や類似度の指標を使ってベクトルを比較できます。

重要なのは近さという考え方です。モデルが似ていると表現する項目は、一般に、無関係だと表現する項目よりも近くに配置されます。GoogleのMachine Learning Crash Courseでは、これを、ベクトル間の関係を使って類似性を考えられるエンベディング空間として説明しています。

ただし、「近い」ことは「客観的に正しい」ことや「人間が理解するように理解している」ことを意味しません。類似性は、モデル、その学習データ、タスク、そしてベクトルの比較に使う指標によって変わります。一般的なウェブテキスト向けに学習または選定されたモデルは、医療、法律、製造分野の用語を、その領域に適したモデルほど適切に表現できない場合があります。エンベディングは有用な表現ですが、意味を普遍的に示す地図ではありません。

実務上は、次のように考えると分かりやすいです。

  • 元の入力は、文や文書のように人間が読めるものです。
  • エンベディングは、数値のベクトルのように機械が扱えるものです。
  • システムはベクトルを比較し、エンベディング空間内で近くにある項目を見つけます。
  • その結果は類似性を示すシグナルであり、取得された項目が正しいことを保証するものではありません。

エンベディングが重要な理由

エンベディングが重要なのは、有用な一致の多くが完全一致ではなく概念的な一致だからです。人は同じ考えを表すのに異なる言葉を使いますし、コンテンツには同義語、言い換え、省略表現、関連する説明が含まれていることがよくあります。

たとえば、次の組み合わせは同一ではありませんが、検索システムやサポートシステムでは関連している可能性があります。

  • 「請求に使うカードを変更する」と「支払い方法を更新する」
  • 「サブスクリプションを解約する」と「プランを終了する」
  • 「ログイン認証情報をリセットする」と「パスワードを忘れた」

正確な用語が重要な場合、キーワード検索は非常に有効です。エンベディングは、文字どおりの単語の重なりよりも、考え同士の関係が重要な場合に役立ちます。

これが、エンベディングがセマンティック検索やベクトル検索で使われる中心的な理由です。MicrosoftのAzure AI Searchドキュメントでは、完全一致のキーワード検索だけに頼るのではなく、ベクトル検索では検索対象のコンテンツとクエリをエンベディングとして表現し、システムがベクトルの類似性にもとづいて項目を取得できるようにすると説明しています。このドキュメントはMicrosoftの実装について述べているため、サービス固有の機能がすべてのベクトルデータベースや検索プラットフォームに当てはまると考えるべきではありません。

AIエンベディングは何に使われるのか

エンベディングは、さまざまなAIや機械学習のワークフローを支えます。共通しているのは比較です。項目がいったんベクトルとして表現されると、ソフトウェアは学習された類似性にもとづいて、検索、グループ化、順位付け、分類、通常とは異なるパターンの検出を行えます。

セマンティック検索とベクトル検索

セマンティック検索は、単なる語句の一致ではなく、意味に基づいてコンテンツを見つけることを目指します。エンベディングを使ったベクトル検索は、それを支える方法の一つです。システムはクエリのベクトルを、保存済みコンテンツのベクトルと比較します。セマンティック検索はより広い目的であり、システムによっては複数の検索方法やランキング方法を組み合わせることがあります。

典型的なワークフローは次のようになります。

  1. 文書、文章の一節、商品説明、サポート記事など、検索できる単位にコンテンツを分割します。
  2. 各単位についてエンベディングを生成します。
  3. それらのエンベディングを検索インデックスまたはベクトルデータベースに保存します。
  4. ユーザーのクエリをエンベディングに変換します。
  5. クエリのベクトルに近いベクトルを持つ保存済み項目を取得します。

この方法は、ナレッジベース、社内検索、ECでの商品探索、文書検索に役立ちます。ただし、あらゆる場合にキーワード検索より自動的に優れているわけではありません。検索品質は、エンベディングモデル、元のコンテンツ、チャンク化の方針、フィルター、ランキング、評価に左右されます。

生成AIアシスタント向けの検索

エンベディングは、AIアシスタントの検索ワークフローでよく使われます。検索拡張生成のパターンでは、システムがまず関連する文書や文章の一節を取得し、その資料を回答生成のための文脈として使います。

エンベディングそのものが、生成された回答を真実にするわけではありません。役割は、関連する可能性のある文脈を選ぶことです。取得された文書が古かったり、曖昧だったり、誤っていたりすれば、アシスタントはなお不十分な回答を生成する可能性があります。優れた検索設計には、情報源の品質、メタデータ、ランキング規則、評価が引き続き必要です。

レコメンデーション

エンベディングは、学習された特徴に基づいて、ユーザー、商品、記事、楽曲、動画などを推薦システムが比較するのに役立ちます。たとえば、ある人が利用したアイテムとエンベディングが近いアイテムを、システムが推薦する場合があります。具体的な設計は、製品、データ、モデルによって異なります。類似性だけで推薦の品質が決まるわけではありません。

クラスタリングと整理

エンベディングは、似ている項目をグループ化するために使えます。企業は、サポートチケットをクラスタリングして共通する苦情のテーマを見つけたり、レビュー前に文書をトピックごとにまとめたりできます。クラスタリングは、カテゴリが事前に分かっていない場合に特に有用です。ただし、クラスタは事業上の判断にとって意味のないパターンを反映することもあるため、結果には人による確認が必要です。

分類と振り分け

エンベディングは、サポートメッセージを請求、技術サポート、アカウント管理などに振り分ける分類タスクを支援できます。エンベディングは、分類器が利用できるコンパクトな表現を提供します。ただし、例、検証、明確なカテゴリ定義が不要になるわけではありません。

重複排除

エンベディングは、完全な重複だけでなく、ほぼ重複しているものを見つけるのにも役立ちます。二つのヘルプ記事が異なる言い回しを使っていても、同じ質問に答えている場合があります。二つの商品掲載が、少し違う文章で同じ商品を説明している場合もあります。ベクトル類似度はレビュー候補に印を付けることができますが、二つのレコードが同一であるという決定的な証拠として扱うべきではありません。

異常検知

エンベディングは、通常のパターンから異常に離れた項目を見つけるのにも役立ちます。たとえば、文書、商品説明、サポート依頼のベクトル上の位置が通常と大きく異なる場合、確認する価値があるかもしれません。これが機能するかどうかは、データセットと領域に大きく左右されます。

説明例:サポートナレッジベースにおけるエンベディング

以下は仮想的な例です。実行済みのベンチマークでも、測定結果でも、特定の製品に関する主張でもありません。

ある会社に、次のサポート文書があるとします。

文書 タイトル 関連する本文
A 支払い方法を更新する 「登録済みのカードを差し替えるには、請求設定を開き、支払い方法を追加を選択します。」
B パスワードをリセットする 「サインインできない場合は、パスワードリセット用リンクを使用します。」
C 請求書をダウンロードする 「管理者は、請求タブから月次請求書をダウンロードできます。」
D アカウント所有者を変更する 「アカウント設定から、所有権を別の管理者に移します。」

ユーザーが次のように検索します。

>「請求に使うカードを変更するにはどうすればよいですか?」

キーワードだけを使うシステムでは、「変更」「請求」「カード」のような完全一致に近い語の重なりを探すかもしれません。十分な語が一致すればドキュメントAを見つけられる可能性がありますが、「請求」が含まれているためにドキュメントCに引っ張られることもあります。

エンベディングベースのシステムでは、クエリをベクトルに変換し、各サポート文書のベクトルと比較します。この仮想例で意図している関連結果はドキュメントAです。「請求に使うカードを変更する」「登録済みのカードを差し替える」「支払い方法を追加」は、互いに近い作業を表しているためです。

実際の検索テストでは、選択したエンベディングモデルが、紛らわしい文書よりもドキュメントAを上位に順位付けするかを確認する必要があります。この例は関連性の目標を示しているだけで、測定された順位を示すものではありません。

限界が表れるケースを見てみましょう。ユーザーが「なぜカードが拒否されたのですか?」と尋ねた場合、ドキュメントAはカードと請求の両方に触れているため、ある程度関連しているように見えるかもしれません。しかし正しい回答には、支払い失敗、銀行の承認、アカウント状態に関する別の文書が必要な場合があります。信頼できる参照資料、メタデータフィルター、評価がないと、エンベディングシステムはもっともらしく見えても誤りのある情報を取得することがあります。

エンベディングとキーワード検索

エンベディングとキーワード検索は、異なる問題を解決します。本番環境の検索システムの多くは両方を使います。一方では取りこぼすケースを、もう一方が拾えることがあるためです。

読者の言い回しが保存されているコンテンツと異なる可能性がある場合は、エンベディングを使います。

  • ユーザーが自然言語で質問する場合。
  • コンテンツで同義語や言い換えが使われている場合。
  • 概念的に関連する箇所を取得することが目的の場合。
  • 「アカウントアクセスのリスクを減らす最善の方法」のように、クエリが探索的な場合。

正確な用語が重要な場合は、キーワード検索、フィルター、またはハイブリッド検索を使います。

  • 「ABC-123」のような製品SKUや部品番号。
  • 正確な文言が重要になる法務やコンプライアンスの用語。
  • 名前、ID、モデル番号、請求書番号、コード。
  • エンベディングモデルでは安定して表現できない可能性がある、まれな専門用語。

具体的な判断基準としては、クエリを確認し、誤った同義語がリスクを生むかどうかを考えます。クエリが「請求に使うカードを変更」の場合、意味的な類似性はおそらく有用です。クエリが「ポリシー条項409A」や「部品XJ-19」の場合は、完全一致とメタデータフィルターがはるかに重要になります。

ハイブリッド検索は、意味によるマッチングとキーワードによるマッチング、構造化フィルターを組み合わせます。製品カテゴリ、文書の種類、顧客プラン、日付、法域など、正確な制約が必要でありながら、概念に基づく取得も行いたい場合に役立ちます。

よくある失敗例:もっともらしく見える誤った検索結果

よくある失敗は、意味的には近いものの、ユーザーの意図に対して実際には正しくないコンテンツを取得してしまうことです。

たとえば、「アカウントを閉じる」に関するクエリは、サブスクリプションの解約、ユーザープロフィールの削除、金融口座の閉鎖、社内サポートチケットのクローズのいずれを意味する場合もあります。エンベディングモデルは「アカウント」や「閉じる」に関連する文書を見つけるかもしれませんが、正しい結果は文脈によって決まります。

この失敗は、次のような場合に起こりやすくなります。

  • クエリが曖昧です。
  • 元になるコーパスが不完全、または古くなっています。
  • エンベディングモデルが対象領域に十分合っていません。
  • 文書が、重要な文脈を欠いたチャンクに分割されています。
  • メタデータフィルターがありません。
  • システムがベクトル類似度を、ランキングに使う一つのシグナルではなく最終回答として扱っています。

解決策は、単に「よりよいエンベディングを使う」ことではありません。検索を改善するには多くの場合、より明確なコンテンツ、適切なチャンク分割、メタデータフィルター、ハイブリッドランキング、評価用データセット、そして高リスクな用途での人によるレビューが必要です。

重要なポイント

AIエンベディングは、ソフトウェアが比較できる形でデータを表すベクトルです。セマンティック検索、ベクトル検索、AIアシスタントのための検索ワークフロー、レコメンデーション、クラスタリング、分類、重複排除、異常検知に役立ちます。

その価値は、言葉が同一でなくても関連する概念を結び付けられる点にあります。一方で、類似していることは真実であることを意味しない、という限界があります。適切な方法は、タスク、データ、モデル、検索設計、そして誤ったものを検索してしまうコストによって変わります。

正確な用語が重要なら、キーワード検索やフィルターを使います。意味や言い換えが重要なら、エンベディングが役立ちます。両方が重要なら、ハイブリッド設計を検討し、自分の領域の実例で評価してください。