Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

AIチャットボットはなぜハルシネーションを起こすのか?

Conceptual editorial artwork: AIチャットボットはなぜハルシネーションを起こすのか?

AIチャットボットは、質問に答え、文書を要約し、メールの下書きを作り、複雑なトピックを数秒で説明できる。一方で、自信ありげでありながら、誤っていたり、根拠がなかったり、完全に作り上げられた回答を出すこともある。この問題は一般に、AIの「ハルシネーション」と呼ばれている。

では、なぜAIチャットボットはハルシネーションを起こすのか。短く言えば、大規模言語モデルは、現実に照らしてすべての主張を直接検証するためではなく、もっともらしい文章を生成するように設計されているからだ。モデルに十分な文脈がない場合、曖昧なプロンプトに直面した場合、不完全または古い情報に依存している場合、あるいは不確実性を認めるよりも回答を出すことが評価される場合に、ハルシネーションは起こり得る。

ハルシネーションは、単一の原因を持つ一つのバグではない。生成AIシステムにおける既知の信頼性上の限界であり、とりわけビジネス、法務、医療、学術、または一般公開を前提とした業務でAIを使う場合には、管理しなければならない問題である。

AIチャットボットがハルシネーションを起こすとはどういうことか

AIチャットボットのハルシネーションとは、もっともらしく聞こえるものの、虚偽であったり、誤解を招いたり、根拠がなかったり、捏造されていたりする回答を指す。チャットボットは詳細を作り上げ、事実を誤って述べ、存在しない情報源を引用し、あるいは実在する情報を不正確な形で組み合わせることがある。

「ハルシネーション」という言葉は広く使われているが、システムが意図的に嘘をついているかのような印象を与えるなら、誤解を招きかねない。この問題をより安全に理解するなら、モデルは流暢な言語を生成しているが、それが検証済みの事実に根ざしているとは限らない、ということだ。

米国国立標準技術研究所は、この種の問題を生成AIの「作話」として論じている。すなわち、もっともらしいが誤った生成コンテンツであり、AIシステムにおけるリスク管理上の課題として扱うべきものだ。NISTのAIリスク管理フレームワークのための生成AIプロファイルでは、こうした失敗を、まれに起こる単発の不具合ではなく、組織が特定し、測定し、管理すべきリスクとして位置づけている。

AIチャットボットはなぜハルシネーションを起こすのか

AIチャットボットがハルシネーションを起こす理由はいくつも重なっている。最も重要なのは、言語モデルが訓練で学習したパターンに基づき、起こりそうな単語列を予測することで回答を生成している点だ。それによって有用で一貫した回答を生み出せるが、一貫性は正確性と同じではない。

チャットボットは、次のような場合にハルシネーションを起こす可能性がある。

  • ユーザーの質問が漠然としている、または曖昧である。
  • モデルに十分な関連文脈がない。
  • 必要な情報が訓練データに含まれていない、不完全である、または古くなっている。
  • 事実が不確かな場合でも、プロンプトが具体的な回答を求めている。
  • システムが「分かりません」と言うよりも、役に立ちそうに聞こえる回答を出すよう最適化されている。
  • 取得された文書やウェブ検索結果が、無関係、不完全、時代遅れ、または誤って読み取られている。
  • モデルが、論理的に見えるものの事実としては誤っている形で、情報の断片を組み合わせている。

だからこそハルシネーションは、引用、日付、製品ポリシー、法的参照、医学的説明、金融情報、氏名、発言の引用、技術仕様など、細部が重要な領域でしばしば目立つ。

訓練と評価が推測を助長することがある

AIチャットボットがハルシネーションを起こす重要な理由の一つは、一般的な訓練や評価の仕組みが、不確実性を認めるよりも推測することをモデルに報いる場合があることだ。

OpenAIの研究者らは、言語モデルがハルシネーションを起こす一因として、多くの評価が、正解には報いる一方で、適切に調整された不確実性を十分には評価しない試験のような形式になっていることを挙げている。OpenAIの論考「言語モデルはなぜハルシネーションを起こすのか」研究者たちは、評価のインセンティブによって、不確実性を示すほうがより信頼できる振る舞いである場合でさえ、「わかりません」と答えるよりも推測するほうがよく見えてしまうことを説明している。

これは、評価のインセンティブだけがハルシネーションの原因だという意味ではない。モデルがどのように訓練され、テストされ、採点されるかによって、不確実性を表現することを学ぶのか、それとも誤っている可能性があるにもかかわらず自信に満ちた回答を出すことを学ぶのかが左右され得る、という意味である。

ユーザーにとって、これはおなじみのパターンを説明してくれる。チャットボットは、実際には持っていない情報が必要な質問に対しても、洗練された自信ある口調で答えることがあるのだ。

ハルシネーションはなぜこれほど説得力を持って聞こえるのか

AIのハルシネーションがとりわけ危険なのは、しばしば信頼できそうに聞こえるからだ。チャットボットは、よく構成された段落を作り、専門的な口調を使い、具体的に見える詳細を盛り込みながら、それでも間違っていることがある。

これは、流暢さと事実の正確さが別の能力だからである。モデルは自然な文章を生成することに優れていても、その記述が真実かどうかを検証する点では失敗し得る。専門家の解説らしい文体に沿った回答を作ることはできても、専門家によるファクトチェックの基準を確実に満たせるとは限らない。

そのため、ユーザーは次のような回答に注意すべきである。

  • 出典のない、非常に具体的な主張。
  • 検証できない引用。
  • 法律、医療、金融に関する自信満々の助言。
  • 時事問題、政策、価格、製品機能に関する主張。
  • 信頼できる情報源へのリンクがない引用文や統計。
  • 曖昧なプロンプトにもかかわらず、あまりにも完全に見える回答。

説得力のある回答が、必ずしも正しい回答であるとは限らない。

チャットボットのハルシネーションの一般的な種類

AIチャットボットのハルシネーションにはさまざまな形がある。一般的な例としては、次のようなものがある。

捏造された引用・出典

チャットボットは、記事タイトル、学術論文、判例、著者名、ページ番号、URLをでっち上げることがある。出典そのものが存在しないにもかかわらず、引用の形式だけは本物らしく見える場合もある。

不正確な事実

システムが、日付、場所、製品機能、企業方針、歴史的な詳細、技術要件を誤って示すことがある。

誤った発言者への帰属

チャットボットは、実際にはその人が言っていない発言をその人物のものとしたり、元の内容をあまりにも大まかに言い換えた結果、誤解を招く内容にしてしまったりすることがある。

存在しない規則や方針

ビジネスの文脈では、権威ある文書にアクセスできない場合、チャットボットが返品ポリシー、人事手続き、保証条件、コンプライアンス要件、社内プロセスの手順を作り出してしまうことがある。

自信過剰な専門分野の回答

医療、法律、金融、工学といった重要性の高い分野では、チャットボットが専門家らしく聞こえる回答を示しながら、重要な但し書きを省いたり、不完全な情報に依拠したりすることがある。

誤った統合

モデルは、実在する事実を誤って組み合わせることがある。たとえば、2つの異なる法律、企業、製品、研究結果の詳細をひとつに混ぜ合わせ、不正確な説明にしてしまう場合がある。

ウェブ閲覧やRAGはハルシネーションを防げるのか

ウェブ閲覧、引用、検索拡張生成は、モデルに外部情報へのアクセスを与えることで、ハルシネーションを減らす助けになり得る。しかし、それで問題がなくなるわけではない。

OpenAIのWebGPT研究では、モデルがウェブ閲覧と参考文献を利用して事実の正確性を高められるかどうかが検討された。このプロジェクトは、『WebGPT:ウェブ閲覧による事実の正確性の向上』で説明されており、外部ソースに基づいて回答を根拠づけるうえで、閲覧と参考文献が有用なツールになり得ることを示した。

ただし、この研究を、検索拡張システムがすべて同じように振る舞うことの証明とみなすべきではない。検索は、システムが誤った文書を見つける、最も関連性の高いソースを見落とす、古い情報を使う、取得した内容を誤って解釈する、といった場合にはなお失敗し得る。

検索ベースのチャットボットでも、次のような場合にはハルシネーションを起こし得る。

  • 取得したソースが質問と無関係である。
  • ソースが不完全、または古くなっている。
  • モデルがソースを読み誤る、または過度に拡大解釈する。
  • システムが複数のソースを誤って組み合わせる。
  • 回答に、取得した資料では実際には裏づけられていない主張が含まれる。

言い換えれば、検索は事実に基づいた回答になる可能性を高めるが、正確性を保証するものではない。

NISTはハルシネーションのリスクをどう位置づけているか

NISTの生成AIリスクに関するガイダンスが有用なのは、作話を、ユーザーがただ受け入れるしかない不可解な挙動としてではなく、管理すべきリスクとして扱っているからだ。

組織にとって、この区別は重要である。チャットボットをカスタマーサポート、従業員の業務フロー、調査、ソフトウェア開発、コンテンツ制作に使うなら、ハルシネーションのリスクは設計、導入、監視、ガバナンスの各段階で考慮すべきである。

リスク管理のアプローチには、次のようなものが含まれ得る。

  • AIが生成した誤りがどこで害を引き起こし得るかを定義する。
  • 導入前にモデルの出力をテストする。
  • 公開後に回答を監視する。
  • 影響の大きいユースケースでは、人間によるレビューを必須にする。
  • 機微なワークフローでは、チャットボットに与える権限を制限する。
  • ユーザーに対して、既知の限界を文書化して示す。
  • 検索対象となる情報源やナレッジベースを更新する。

この考え方は、ハルシネーションを完全に防ぐことはできないかもしれないが、その発生可能性と影響は多くの場合、低減できるという認識に立っている。

実践確認:根拠との矛盾と根拠不足を分ける

以下の在庫記録と主張は架空の教材で、実際のチャットボット応答やモデル性能試験ではありません。この資料だけを使い、日付の間で在庫が変わらなかったと仮定しないでください。

根拠A · 指定倉庫の完全なスナップショット

2026年10月1日:A倉庫の青いノート12冊、B倉庫の青いノート8冊、A倉庫の赤いノート3冊。この例の同日記録は以上が全部です。全国在庫ではありません。

根拠B · 一部更新

2026年10月2日:A倉庫の青いノート9冊。B倉庫と赤いノートの更新はありません。

検討する主張 判定 理由・計算
10月1日の指定倉庫の青いノートは20冊 [A]。 根拠あり。 同じ日・商品で12 + 8 = 20。
10月1日の全ノートは20冊 [A]。 根拠と矛盾。 完全な記録には赤3冊もあり、12 + 8 + 3 = 23。
10月2日の青いノートは21冊 [A, B]。 資料では確認不能。 12 + 9は別日のA倉庫を二重計上。Bの同日在庫がないため21冊は立証されないが、実際の合計が偶然21冊になる可能性まで否定する資料ではない。
今日の全国リアルタイム在庫が確認できた。 資料では確認不能。 特定倉庫の過去の記録で、全国範囲も現在の購入可能性も示さない。

修正した回答

10月1日の指定倉庫には青20冊、全体23冊がありました [A]。10月2日のA倉庫の青は9冊と報告されています [B]。この更新では10月2日の全体合計や現在の在庫は確認できません。

自信のある口調以外に確認できること

2番目は完全な記録と直接矛盾し、最後の2つは根拠の範囲を超えます。根拠不足は主張を保留する理由ですが、現実に誤りと立証されたこととは異なります。実在する出典でも、文の日付や範囲を裏付けない場合があります。

コピー用検証プロンプト

根拠AとBだけを使って回答を個別の事実主張に分け、根拠あり・矛盾・確認不能に分類してください。出典ID・日付・範囲・計算を示してください。根拠なしに数量を別日に持ち越さないでください。修正回答と不足情報を記載してください。

判定後にすること

裏付けられた主張には日付と出典を残し、矛盾する数値は再計算します。確認不能な主張は削除・限定するか不足記録を求めます。この例の10月2日合計には両倉庫・商品の完全な記録が必要です。現在購入できるかは新たな在庫照会が必要です。

モデルを試す場合、実際の応答と設定はこの解答表と分けて保存します。モデルが書いた自信の百分率は検証済み精度ではありません。この教材は作成した4主張の根拠使用を確認し、一般的な幻覚率は推定しません。

関連ガイド:AI回答を主張ごとに検証する

ユーザーが覚えておくべきこと

AIチャットボットがハルシネーションを起こすのは、学習したパターンと利用可能な文脈にもとづいて、もっともらしい言葉を生成するためです。すべての記述を現実に照らして自動的に検証しているわけではありません。学習時のインセンティブ、評価方法、文脈の不足、曖昧なプロンプト、不完全なデータ、検索・取得の失敗などはいずれも、誤った回答や根拠のない回答につながり得ます。

重要なのは、チャットボットが役に立たないということではありません。その出力を適切に扱う必要がある、ということです。チャットボットは、下書き作成、調査支援、説明、業務フローの高速化において強力なアシスタントになり得ますが、絶対に誤らない真実の情報源ではありません。

正確さが重要な場面では、回答を検証してください。情報源を求め、引用を確認し、文脈を与え、不確実性を示すよう促し、重大な意思決定では人間によるレビューを取り入れることが大切です。ハルシネーションは生成AIの既知の限界であり、すでに解決済みだと考えるのではなく、それを管理することが最も安全な approach です。