Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

RAG(検索拡張生成)とは

Conceptual editorial artwork: RAG(検索拡張生成)とは

検索拡張生成(Retrieval-Augmented Generation、RAG)は、ユーザーが質問した時点で外部から取得した情報を生成モデルと組み合わせるAIアーキテクチャです。モデルが学習時に身につけた知識だけに頼るのではなく、関連する文書、データ、知識の断片を検索し、その文脈をモデルに渡してから回答を生成します。

平たく言えば、「検索拡張生成とは何か」と問われたときの答えは、RAGとは生成AIシステムが質問に答える際に、関連する情報源を参照できるようにする仕組みです。

RAGの原論文では、この手法を、事前学習済みの生成器と、外部から検索された「ノンパラメトリックメモリ」を組み合わせるものとして説明しています。対象は、知識を多く必要とする自然言語処理タスクです。ただし、論文の結果は評価対象となったタスクと実験設定に基づくものであり、すべてのRAGシステムや製品に当てはまる保証とみなすべきではありません。原論文は知識集約型NLPタスクのための検索拡張生成で読むことができます。

RAGの仕組み

実用的なRAGのワークフローは、通常いくつかの段階で構成されます。具体的な実装はプラットフォームによって異なりますが、基本的な流れは共通しています。関連情報を検索し、それを文脈として与え、そのうえで回答を生成します。

1. 情報源となるコンテンツを集める

RAGシステムは、まず情報源となる素材から始まります。製品ドキュメント、社内規程、サポート記事、調査メモ、FAQ、その他のテキストベースの知識などが含まれます。モデルが利用できるのは、システムが検索してプロンプトに渡せる情報に限られるため、このコンテンツの品質と鮮度は重要です。

2. コンテンツを分割してインデックス化する

大きな文書は、一般にチャンクと呼ばれる小さな文章単位に分割されます。そのチャンクをインデックス化して、後から検索できるようにします。実装によっては、キーワード検索、埋め込み、ベクトル検索、ハイブリッド検索、メタデータによる絞り込み、その他の検索技術が使われます。

たとえば、MicrosoftによるAzure AI SearchでのRAG解説では、インデックス化された関連情報を取得し、生成モデルに渡すパターンとしてRAGを説明しています。Microsoftの説明はAzure AI Searchに固有のものですが、「検索してから生成する」という大枠を理解するうえでは有用です。

3. ユーザーが質問する

ユーザーがクエリを送信すると、システムはインデックス化されたコンテンツから関連する文書やチャンクを検索します。目的は、質問への回答に役立つ可能性の高い情報源を見つけることです。

4. 関連する文脈をプロンプトに追加する

取得された文章は文脈としてまとめられ、ユーザーの質問やシステム指示とともに生成モデルへ渡されます。これがRAGと通常のプロンプトとの大きな違いです。モデルは生成時に、新しく、タスクに特化した情報を受け取ります。

AWSも、Amazon Bedrockのナレッジベースについて同様のワークフローを説明しています。情報源のデータをチャンク化してインデックス化し、一致するチャンクを検索して、それを生成時の文脈として追加するというものです。こうした実装の詳細はAmazon Bedrockに固有のものであり、すべてのRAGシステムに共通する必須要件ではありません。

5. モデルが回答を生成する

最後に、モデルはプロンプトと取得された文脈を使って回答を生成します。RAGシステムによっては、引用、情報源リンク、アクセス制御の確認、検証ステップ、後処理などを備える場合もあります。これらの機能は使いやすさやガバナンスを高める可能性がありますが、慎重に設計し、評価する必要があります。

RAGが重要な理由

多くのビジネス用途やプロダクト用途では、最新であること、社内固有であること、特定分野に特化していることが求められる情報が必要です。汎用的な言語モデルの学習データには、そうした情報が含まれていない場合があります。含まれていたとしても、古かったり不完全だったりすることがあります。

RAGは、組織がすでに管理している情報と生成AIのインターフェースを結びつける助けになります。たとえば、企業がRAGを使って、従業員が社内文書について質問できるようにしたり、顧客がサポートのナレッジベースから答えを見つけやすくしたりできます。

ただし、RAGが事実の正確性を保証するわけではありません。RAGシステムでも、誤ったコンテンツを取得したり、最適な情報源を見落としたり、古い情報を使ったり、取得した文脈を忠実に反映しない回答を生成したりすることがあります。RAGはモデルの内部記憶への依存を減らせますが、ハルシネーションのリスクをなくすものではありません。

RAGと標準的なLLMプロンプトの違い

標準的なLLMプロンプトでは、通常、ユーザーの質問、プロンプトに含まれる指示、モデルがすでに学習しているパターンの3つに頼ります。必要な情報がプロンプト内になく、モデルの学習内容にも信頼できる形で反映されていない場合、回答は不完全または不正確になる可能性があります。

RAGはここに検索のステップを加えます。モデルが回答する前に、システムが外部コンテンツを検索し、関連する文脈を渡します。これにより、特に回答がモデルに内蔵された知識の外にある情報に依存する場合、特定の情報源に基づいた回答にしやすくなります。

簡単に比較すると、次のようになります。

手法 仕組み 適した用途
標準的なプロンプト モデルがプロンプトと既存の学習済み知識に基づいて回答する 一般的な文章作成、ブレインストーミング、提示された文章の要約
RAG システムが関連する外部コンテンツを取得し、文脈としてモデルに渡す 最新情報、社内固有情報、特定分野の情報に依存する質問

RAGとファインチューニングの違い

RAGとファインチューニングは一緒に語られることが多いものの、解決しようとしている問題は異なります。

ファインチューニングは、追加学習によってモデルを変更または適応させるものです。組織がモデルに特定の文体、形式、ドメインでの振る舞い、タスクのパターンを身につけさせたい場合に有用です。これに対してRAGは、必ずしもモデルのパラメータを変更せず、クエリ時に情報を取得します。

多くの場合、RAGが魅力的なのは、モデルを再学習するのではなく、インデックス化された情報源のコンテンツを変更することで知識を更新できるからです。たとえばポリシーが変わった場合、システムは関連文書とインデックスを更新できます。取り込みと検索のパイプラインが正しく機能していれば、次の回答では新しい情報を取得できます。

とはいえ、RAGが常にファインチューニングより優れているわけではありません。最適な手法は、ユースケース、利用可能なデータ、コスト、遅延要件、セキュリティ要件、評価結果によって変わります。システムによっては、RAG、ファインチューニング、またはその両方を使う場合があります。

RAGの主なユースケース

RAGは、特定の知識体系に基づいた回答が必要なアプリケーションでよく検討されます。例としては、次のようなものがあります。

  • エンタープライズ検索:従業員が社内文書、規程、ナレッジベースを横断して質問する。
  • カスタマーサポート用チャットボット:チャットボットが、回答前に関連するヘルプ記事やサポート文書を取得する。
  • ドキュメントアシスタント:開発者、顧客、社内チームが技術文書について質問する。
  • ポリシー・手順に関するQ&&A:従業員が人事、法務、コンプライアンス、業務運用に関する文書を検索する。
  • リサーチアシスタント:ユーザーが選択した研究コーパスから関連資料を取得し、要約する。
  • 製品知識アシスタント:営業、サポート、プロダクトチームが承認済みの製品情報を照会する。

規制対象または機微な情報を扱う環境では、これらのユースケースにはアクセス制御、プライバシー、保存期間、コンプライアンス上の義務に細心の注意が必要です。RAGがこれらの要件を自動的に解決するわけではありません。

RAGの利点

適切に設計すれば、RAGにはいくつかの実用的な利点があります。

情報源に基づいた回答にできる

システムが回答生成の前にコンテンツを取得するため、モデルは特定の文書や文章を文脈として利用できます。承認済みのドキュメントや社内知識を反映した回答が求められる場合には、特に有用です。

最新情報や社内固有情報を扱える

モデルの学習データには、企業の最新ポリシー、製品アップデート、社内知識が含まれていない場合があります。RAGは、モデルの外部で管理されているインデックス化済みの情報源とモデルを接続できます。

知識更新のたびに再学習する必要を減らせる

主な課題が変化する情報へのアクセスであるなら、情報が変わるたびにモデルを再学習またはファインチューニングするより、コンテンツのインデックスを更新するほうが現実的な場合があります。

引用を含めることで透明性を高められる

一部のRAGシステムは、回答生成に使った文書や文章を表示します。引用は正確性を保証するものではありませんが、ユーザーが情報源を確認し、その回答が裏づけられているかを評価する助けになります。

限界とリスク

RAGは強力ですが、生成AIを自動的に信頼できるものにする魔法のレイヤーではありません。主な限界には次のようなものがあります。

情報源データの品質が低い

インデックス化されたコンテンツが不正確、不完全、重複している、または古い場合、システムは質の低い情報を取得して使う可能性があります。RAGはナレッジベースの品質に大きく依存します。

検索が弱い

検索システムが関連情報を見つけられなければ、モデルはその情報を使えません。チャンク化、インデックス化、メタデータ、クエリ処理、ランキングはいずれも検索品質に影響します。

ハルシネーションと文脈の誤用

関連するコンテンツが取得されていても、モデルが根拠のない、または一部誤った回答を生成することがあります。検索だけでは、モデルが取得した文脈を正しく使うとは限りません。

セキュリティとアクセス制御の問題

RAGシステムは機微な社内データに接続される場合があります。組織は、ユーザーがアクセス権限を持つ情報だけを取得できるようにする必要があります。要件は組織、業界、法域によって異なります。

遅延とコスト

RAGは生成プロセスに、検索、取得、文脈の組み立て、モデル推論といったステップを追加します。これらのステップは応答時間と運用コストに影響する可能性があります。

評価の難しさ

RAGシステムが一貫して適切な根拠を取得し、正確な回答を生成しているかを測定するのは容易ではありません。評価には、単純なデモだけでなく、現実的なユーザー質問を含めるべきです。

RAGシステムの評価方法

RAGを業務ワークフローに導入する前に、検索品質と生成品質の両方を評価する必要があります。確認すべき問いには、次のようなものがあります。

  • 実際のユーザー質問に対して、最も関連性の高い情報源を取得できているか。
  • 回答は取得した文脈に忠実か。
  • 十分な情報がない場合に、そのことを示せるか。
  • 引用や情報源の参照は正確で有用か。
  • インデックス化されたコンテンツは最新で、維持管理されているか。
  • アクセス制御は正しく適用されているか。
  • 典型的なクエリや複雑なクエリに対する遅延はどの程度か。
  • 境界事例、曖昧な質問、情報不足の場合にどのように動作するか。
  • 組織は時間の経過とともに品質をどう監視するのか。

優れたRAG評価プロセスでは、回答が流暢に聞こえるかどうかだけで判断しません。その回答が裏づけられているか、有用か、安全か、想定されたワークフローに適しているかを確認します。

要点

検索拡張生成は、生成AIを外部知識と結びつけるための実用的なアーキテクチャです。RAGシステムは関連情報を取得し、それを文脈として渡し、生成モデルを使って回答を作ります。

RAGは、組織が最新情報、社内固有情報、特定分野のコンテンツを扱うAIシステムを構築する助けになります。ただし結果は、実装の品質、情報源データ、検索性能、セキュリティ制御、継続的な評価に左右されます。RAGは回答の根拠づけを改善できますが、正確性を保証したり、ハルシネーションをなくしたりするものではありません。

実行して確認:古い検索結果と根拠不足を区別する

架空の店舗資料を使い、回答生成前の検索を確認します。下記のスクリプトを実行し、出力をそのまま記録しました。言語モデル・埋め込み・通信・実在店舗の規約は使いません。完全なRAGシステムやモデルの性能試験ではありません。

文書と質問

似た返品規則を2つ入れています。returns-v1は旧版の14日、returns-v2は最新版の7日です。3つ目は配送文書です。未使用でレシートがあり、10日経過したケースを想定します。currentは手動で設定するメタデータであり、真偽の自動判定ではありません。

Python 3でコピーして実行

rag_demo.pyとして保存し、python3 rag_demo.pyを実行してください。Python 3以外のインストールやAPIキーは不要です。同一の実験を再現するため、例文と出力名は全言語版で英語のままです。

"""Fictional retrieval/version exercise, not a full RAG or model benchmark."""
import re
DOCUMENTS = [
    {'id': 'returns-v1', 'current': False,
     'text': 'Return requests for unused items: 14 days; receipt required.'},
    {'id': 'returns-v2', 'current': True,
     'text': 'Return requests for unused items: 7 days; receipt required.'},
    {'id': 'shipping-v1', 'current': True,
     'text': 'Standard shipping takes 3 to 5 business days.'},
]
QUERY = 'return unused receipt'
def words(text):
    return set(re.findall(r'[a-z]+', text.lower()))
def retrieve(documents, current_only):
    candidates = [d for d in documents if not current_only or d['current']]
    ranked = sorted(candidates,
                    key=lambda d: len(words(QUERY) & words(d['text'])),
                    reverse=True)
    # Python's stable sort leaves the earlier document first on a tie.
    if not ranked or not (words(QUERY) & words(ranked[0]['text'])):
        return None
    return ranked[0]
def inspect(label, document, elapsed_days=10):
    if document is None:
        print(label + ': no_evidence')
        return
    match = re.search(r'(\d+) days;', document['text'])
    if not match:
        print(label + ': no_return_rule')
        return
    window = int(match.group(1))
    # Only this fictional unused-item-with-receipt case is evaluated.
    result = 'within_window' if 0 <= elapsed_days <= window else 'outside_window'
    print(f"{label}: {document['id']} window={window} day={elapsed_days} {result}")
def main():
    inspect('unfiltered', retrieve(DOCUMENTS, False))
    inspect('current_only', retrieve(DOCUMENTS, True))
    inspect('shipping_only', retrieve([DOCUMENTS[2]], True))
if __name__ == '__main__':
    main()

実際の実行結果

unfiltered: returns-v1 window=14 day=10 within_window
current_only: returns-v2 window=7 day=10 outside_window
shipping_only: no_evidence

各ケースで何が失敗したか

フィルターなしでは2つの規則のキーワード得点が同じです。同点では入力順を維持するため旧版を選び、10日目を期間内と判定します。先に最新文書だけに絞ると7日規則を選び、10日目は期間外です。計算が賢くなったのではなく、使う根拠が変わりました。

配送文書だけの場合は質問語との一致がなくno_evidenceとなります。この演習では返品期間を作らず、停止して不足する規則を求める場面です。キーワード照合は意図的に単純で、実際の検索では同義語を逃したり無関係な文書が上位になったりします。

入力を変えてみる

DOCUMENTSを逆順にします。同点時の順序が変わり、フィルターなしでも新規則を選びます。この改善は不安定ですが、明示的なcurrentフィルターは引き続きreturns-v2を選びます。両返品文書をcurrent=Falseにすると、最新の返品根拠はなくなります。inspectのelapsed_daysを7にすると境界内、8なら外です。

実際のRAG作業に応用する

回答を見る前に質問・検索された本文・文書ID・版・有効状態を記録します。旧版が出たら資料管理とフィルターを確認します。正しい本文なのに回答が日数を変えたり配送文書を引用したりしたら、生成と引用の整合性を別々に検証します。currentも取り込み処理で正しく管理してこそ役立ちます。

このテストの限界

期間判定は未使用・レシートありの条件に限定したプログラム比較で、AI生成回答や返品承認ではありません。言い換え・権限・規則の矛盾・施行日・開封品・運用品質は検証しません。モデルを接続する場合、各主張と引用を実際に渡した本文と照合してください。