Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

生成AIの仕組みをやさしく解説

Conceptual editorial artwork: 生成AIの仕組みをやさしく解説

生成AIは、メールを書いたり、文書を要約したり、画像を作ったり、コードを生成したり、アイデア出しを手伝ったりできます。では、生成AIは内部でどのように動いているのでしょうか。

初心者向けに簡単に言えば、生成AIは多くの例からパターンを学び、そのパターンをモデルに蓄え、こちらがプロンプトを与えると新しいコンテンツを作り出します。人間のように考えたり、感じたり、理解したりしているわけではありません。訓練で学んだ数学的な関係を使って、依頼に合う出力を予測し、生成しているのです。

以下では、訓練、トークン、ニューラルネットワーク、プロンプト、文章生成、画像生成、そしてAIツールがときどき間違える理由について、平易な言葉で説明します。

生成AIとは何か

生成AIとは、新しいコンテンツを作り出せる人工知能の一種です。そのコンテンツには、文章、画像、音声、動画、コンピューターコード、要約、アウトライン、その他の出力が含まれます。

IBMによると、生成AIとは、データから学んだパターンをもとに新しいコンテンツを作成するAIシステムを指します。「生成AIとは何か」。

この点で、分類、順位付け、検出だけを行うAIシステムとは異なります。たとえば、次のような違いがあります。

  • スパムフィルターは、メールがスパムかどうかを予測します。
  • レコメンドシステムは、あなたが好みそうな映画や商品に順位を付けます。
  • 生成AIの文章作成ツールは、新しい段落、メール、物語を作ります。
  • 生成AIの画像ツールは、テキストによる説明から新しい画像を作ります。

実際には、多くのAIシステムが予測、分類、検索、生成を組み合わせています。ただし、生成AIを特徴づけるのは、既存のコンテンツにラベルを付けたり並べ替えたりするだけでなく、新しいコンテンツを生み出す点です。

シンプルに言えば、パターン学習とコンテンツ生成

生成AIを最も簡単に理解するなら、次のようになります。

1. 多くの例を学習する。
2. それらの例に含まれるパターンを学ぶ。
3. そのパターンを使って新しいものを生成する。

文章モデルの場合、例となるのは大量の書き言葉です。画像モデルの場合は、多くの場合、テキストの説明と組み合わされた画像です。コードモデルの場合は、プログラミングのパターンが含まれます。音声や動画のシステムでは、音波、フレーム、キャプション、その他の表現が例に含まれることがあります。

モデルは通常、巨大なデータベースから一字一句をコピー&ペーストしているわけではありません。それは単純化しすぎです。訓練の過程で、モデルは多数の内部的な数値設定を調整し、関係性を認識して、ありそうな出力を生み出せるようになります。こうして学習された設定は、しばしばパラメーターと呼ばれます。

考え方としては、はるかに大規模で柔軟なオートコンプリートを思い浮かべるとよいでしょう。スマートフォンは文中の次の単語を提案することがあります。現代の生成AIモデルは、より豊富な学習済みパターンにもとづいて、多くの単語、コード行、画像の細部、その他の要素を予測し、生成できます。このたとえは役に立ちますが、完全ではありません。現代のシステムは、通常のオートコンプリートよりはるかに複雑です。

ステップ1:例を使って訓練する

訓練とは、生成AIモデルにパターンを学ばせるプロセスです。

訓練中、システムには多くの例が示されます。モデルの種類によって、その例には次のようなものが含まれます。

  • 文、記事、書籍、ドキュメント、ウェブページ
  • 画像とテキストによる説明
  • 音声クリップと文字起こし
  • コードファイルとコメント
  • 動画フレームとキャプション

目的は、モデルがすべての例を完全に暗記することではありません。有用な関係性を学ぶことです。言語モデルなら、文法、よく使われる表現、トピック同士の関係、文体、単語が一緒に現れやすい傾向などが含まれます。画像モデルなら、形、質感、色、光、物体の特徴といった視覚的な関係が含まれます。

訓練中、ニューラルネットワークは予測を行い、その予測を訓練用の例と比べ、誤差を減らすように内部パラメーターを調整します。このプロセスを何度も繰り返すことで、モデルは訓練データに含まれるパターンに似た出力をよりうまく作れるようになります。

訓練には、とくに大規模モデルの場合、多くの費用と時間がかかることがあります。訓練が完了すると、人々は通常、アプリ、チャットボット、画像生成ツール、コーディング支援ツール、APIなどを通じて、訓練済みモデルを利用します。

ステップ2:データを数値に変換する

コンピューターは、人間のように単語、画像、音を直接理解しているわけではありません。AIシステムはデータを扱うために、入力を数値表現に変換します。

文章生成では、モデルがテキストをトークンと呼ばれる単位に分割することがよくあります。トークンは、単語、単語の一部、句読点、その他のテキスト単位である場合があります。たとえば、文はトークンの列に変換され、それぞれのトークンが数値で表されます。

大規模言語モデル(LLM)は、大量のテキストで訓練され、単語やトークンの並びを予測することで言語を生成します。IBMはその概要記事「大規模言語モデル」でそう説明しています。

モデルはまた、トークン同士の関係を捉える数値表現も使います。こうした表現は、文脈の処理に役立ちます。たとえば英語のbankという語は、ある文ではお金に関係し、別の文では川岸に関係することがあります。周囲のトークンが、どちらの意味である可能性が高いかをモデルが推定する助けになります。

画像、音声、動画では、数値表現の形が異なります。画像モデルはピクセルや圧縮された画像特徴を処理することがあります。音声モデルは音のパターンを処理することがあります。大きな考え方は同じです。生の入力を数値に変換し、モデルがパターンを分析して生成できるようにするのです。

ステップ3:ニューラルネットワークで学習する

現代の生成AIシステムの多くは、ニューラルネットワークを使っています。ニューラルネットワークとは、入力を出力に変換する、つながり合った数学的演算の仕組みです。

初心者向けに言えば、たくさんの調整つまみが付いた巨大な操作盤を思い浮かべるとよいでしょう。訓練中、モデルは予測誤差を減らすために、そのつまみを少しずつ何度も調整します。そのつまみが、モデルのパラメーターです。

モデルの予測が悪ければ、訓練によってパラメーターが調整されます。予測が改善すれば、役に立ったパラメーター設定が強化されます。多くの例と多くの訓練ステップを経るうちに、モデルはデータに含まれるパターンの統計的な地図を作り上げます。

言語タスクでは、現代のシステムの多くがトランスフォーマーと呼ばれる設計に基づいています。トランスフォーマーアーキテクチャは、2017年の論文「Attention Is All You Need」以降、現代の言語モデルの重要な基盤となりました。

トランスフォーマーの重要な考え方の一つがアテンションです。アテンションは、入力列のさまざまな部分同士の関係に重みを付けるのに役立ちます。平たく言えば、文脈の中のどの単語やトークンが、次に生成すべき内容に特に関係しているかをモデルが判断する助けになります。

たとえば、配送遅延についてのフォーマルなメールを依頼する長いプロンプトでは、モデルは求められている文体、話題、宛先、望ましい形式に注意を向ける必要があるかもしれません。アテンション機構は、こうした文脈の要素をモデルがより効果的に使う助けになります。

ステップ4:プロンプトから回答を生成する

訓練後、モデルは利用できるようになります。この利用段階は、しばしば推論と呼ばれます。

推論では、モデルにプロンプトを与えます。プロンプトは、質問、指示、説明、画像の依頼、コードの問題、制約条件のセットなどです。モデルはそのプロンプトと学習済みパラメーターを使い、新しい出力を作ります。

プロンプトは、結果の多くの要素に影響します。たとえば次のようなものです。

  • トピック
  • スタイル
  • トーン
  • 形式
  • 長さ
  • 対象読者
  • 制約
  • 従うべき例

たとえば、次のプロンプトはそれぞれ異なる出力を生む可能性が高いでしょう。

  • 生成AIを1段落で説明してください。
  • 生成AIを小学5年生にわかるように説明してください。
  • クライアントに生成AIを説明するビジネスメールを書いてください。
  • 生成AIの仕組みを箇条書きで要約してください。

プロンプトに十分な文脈がなければ、モデルはあなたが何を望んでいるのか分かりません。明確なプロンプトは多くの場合、より有用な出力につながりますが、プロンプトを工夫しても完全な正確性が保証されるわけではありません。

文章生成は次の内容をどう選ぶか

一般的な自己回帰型文章モデルは次のトークン候補の分布を計算し、デコード規則で選択し、伸びた文脈で次を進めます。実際の語彙はこの例よりはるかに大きく、トークンは必ずしも一単語ではありません。

架空の候補3つで考える

「The cafe serves」の後をcoffee=0.60、tea=0.30、books=0.10と仮定します。教材用の数値で、モデルや実在カフェから得た値ではありません。候補確率0.60は、カフェが本当にコーヒーを売る事実の確率60%ではありません。

コードはp^(1/T)を計算し、重みを正規化します。正の確率から温度調整を示しますが、学習、アテンション、文の生成は行いません。貪欲法は最大値を選び、サンプリングは分布から抽選します。ここでは再現可能にするため抽選せず確率を表示します。

計算を実行する

decoding_demo.pyとして保存し、Python 3でpython3 decoding_demo.pyを実行します。追加パッケージ、通信、アカウント、APIキーは不要です。全言語版で同じ英語候補と数値を使います。

"""An invented next-choice distribution; no neural model or API call."""
BASE = {'coffee': 0.60, 'tea': 0.30, 'books': 0.10}
def temperature_distribution(probabilities, temperature):
    if temperature <= 0:
        raise ValueError('temperature must be positive; greedy is separate')
    if not probabilities or any(p <= 0 for p in probabilities.values()):
        raise ValueError('this exercise requires strictly positive probabilities')
    weights = {word: p ** (1.0 / temperature)
               for word, p in probabilities.items()}
    total = sum(weights.values())
    return {word: weight / total for word, weight in weights.items()}
def main():
    print('greedy=' + max(BASE, key=BASE.get))
    for temperature in (0.5, 1.0, 2.0):
        distribution = temperature_distribution(BASE, temperature)
        values = ' '.join(f'{word}={p:.4f}' for word, p in distribution.items())
        print(f'T={temperature:.1f} {values}')
if __name__ == '__main__':
    main()

コードの実行結果

greedy=coffee
T=0.5 coffee=0.7826 tea=0.1957 books=0.0217
T=1.0 coffee=0.6000 tea=0.3000 books=0.1000
T=2.0 coffee=0.4727 tea=0.3343 books=0.1930

結果の意味

T=0.5では首位候補に集中し、T=2.0では分布が平らになります。どの計算もメニューや事実を確認しません。順位は同じなので貪欲法はcoffeeのままです。実際の生成には他のデコード規則や次段階のモデル分布も影響します。

実際の自己回帰モデルはトークン追加後に新しい文脈から次の分布を計算します。このコードは一回の選択だけで、完全な言語モデル、現実的なトークナイザー、特定サービスの再現ではありません。

反例を作ってみる

BASEをcoffee=0.10、tea=0.30、books=0.60にします。想定するカフェが飲み物しか売らなくても、貪欲法はbooksを選びます。不適切な分布に集中しても真にはなりません。信頼できるメニュー情報を与え、出力の主張を確認してください。温度は真実のスイッチではありません。

初心者が区別すべきこと

訓練は学習済みパラメータを変更します。この演習は推論時の選択分布だけを変え、学習はしません。プロンプト、検索、ツール結果でモデルに渡す情報は変わりますが、回答確認は必要です。モデルや製品により設定項目は異なり、例の数値は普遍的推奨値ではありません。

参考:生成パラメータ

関連ガイド:チャットボットが幻覚を起こす理由

画像生成ツールの仕組み

生成AIがすべて同じ仕組みで動くわけではありません。文章、画像、音声、動画、コードのシステムでは、異なるモデルアーキテクチャや訓練方法が使われることがあります。

多くの画像生成ツールは、拡散モデルと呼ばれる種類のモデルを使っています。簡単に言えば、拡散モデルはデータにノイズを加えるプロセスを逆向きにたどる方法を学びます。

初心者向けに大まかに言うと、次のようになります。

1. 訓練中、システムはノイズが徐々に加えられたときに画像がどう見えるかを学ぶ。
2. そのノイズを取り除く、または逆向きに戻す方法も学ぶ。
3. 生成時には、モデルがノイズの多いデータから始め、段階的に整えていく。
4. プロンプトが、その調整を依頼内容に合った画像へと導く。

たとえば、プロンプトが「浜辺の近くにある赤い自転車の水彩画」を求めている場合、モデルは学習した視覚パターンとプロンプトの指示を使って、そうした特徴を持つ画像を徐々に形作ります。

これはあくまで単純化した説明です。画像システムにはさまざまなものがあり、拡散だけが唯一の方法ではありません。他の生成モデルの種類にはGANや変分オートエンコーダーがありますが、現代の人気画像ツールの多くは拡散系の手法を使っています。

生成AIがときどき間違える理由

生成AIは便利ですが、不正確な情報や作り上げた情報を出すこともあります。こうした自信ありげに見える誤りは、よくハルシネーションと呼ばれます。IBMはAIハルシネーションについて、もっともらしく見えても不正確だったり根拠がなかったりする出力だと説明しています。「AIハルシネーションとは何か」。

これが起こる理由はいくつかあります。

もっともらしい出力を予測しているのであって、事実を保証しているわけではない

言語モデルは、パターンにもとづいて可能性の高い文章を生成するよう訓練されています。細部が間違っていても、正しい答えのように聞こえるものを出すことがあります。

最新情報や特定の情報を持っていない場合がある

一部のモデルは、検索ツール、ブラウジング、データベース、その他の最新ソースにつながっていない限り、最新情報にアクセスできない場合があります。機能は製品によって異なります。

プロンプトが曖昧な場合がある

プロンプトが曖昧だと、モデルが不足部分を補おうとすることがあります。その推測が役に立つこともあれば、間違っていることもあります。

訓練データに誤りや偏りが含まれることがある

生成AIの出力には、訓練データに存在する偏り、抜け、誤りが反映されることがあります。偏りや安全性に関する性能は、モデルや提供事業者によって異なります。

関連するパターンを取り違えることがある

モデルは統計的な関係を学ぶため、似た概念、名前、日付、出来事を混ぜ合わせ、一見まとまっているが実際には誤った回答を作ることがあります。

医療、法律、金融、学術、事業上重要な業務など、重要な用途では、AIの出力を信頼できる情報源と照合し、資格や専門性を持つ人が確認するべきです。

生成AIは本当に理解しているのか

生成AIは、人間と同じ意味で理解しているわけではありません。

人間は、言葉を実体験、目標、感情、倫理、記憶、現実世界での判断と結びつけることができます。生成AIモデルは数値パターンを処理し、学習した関係にもとづいて出力を作ります。

この違いは重要です。AIチャットボットは、ある話題をわかりやすく説明したり、丁寧に返答したり、温かみのある文体で書いたりするかもしれません。しかしそれは、感情、信念、意図、意識を持っていることを意味しません。プロンプトと文脈に合う言葉を生成しているのです。

だからといって、生成AIが役に立たないわけではありません。パターンにもとづく生成は非常に有用になり得ます。ただし、利用者はシステムを全知の権威として扱うべきではない、ということです。

生成AIの一般的な使い道

生成AIは、日常生活から仕事まで多くの場面で使われています。一般的な用途には次のようなものがあります。

  • メール、レポート、記事の下書き作成
  • アイデア出し
  • 長い文書の要約
  • トーンや明瞭さを整えるためのリライト
  • 学習ガイドや説明文の作成
  • コーディング作業の支援
  • 画像コンセプトの生成
  • マーケティングコピーの初稿作成
  • カスタマーサービス業務の支援
  • アウトライン、チェックリスト、テンプレートの作成

ほとんどの場合、生成AIは人間の判断の代替ではなく、アシスタントとして使うと最も効果を発揮します。作業を速め、選択肢を探り、下書きを作る助けにはなりますが、出力にはなお確認が必要です。

生成AIを責任を持って使うには

責任ある利用は、限界を理解することから始まります。初心者向けの実践的な習慣は次のとおりです。

重要な事実を確認する

自信ありげに聞こえるからといって、答えが正しいと思い込まないでください。名前、日付、引用、数字、ポリシー、技術的主張を確認しましょう。

個人情報や機密情報を守る

プライバシーの扱いは、ツール、提供事業者、設定、組織によって異なります。そのツールがデータをどのように扱うかを理解していない限り、機微な個人情報、金融、法律、医療、企業秘密に関わる情報を入力するのは避けましょう。

明確なプロンプトを与える

目的、対象読者、形式、制約、文脈を含めましょう。指示が明確なほど、通常はより有用な出力が得られます。

偏りと公平性を確認する

AIの出力には、データに由来する偏ったパターンが反映されることがあります。とくに人、採用、教育、住宅、医療、金融、その他影響の大きい分野に関わる場合は、出力を慎重に確認してください。

必要に応じて透明性を確保する

学校、職場、出版、専門職の場面では、AI支援をいつ、どのように開示するかについて、関連する方針に従ってください。

著作権や所有権の問題には慎重になる

AI生成コンテンツや訓練データをめぐる著作権ルールや法的解釈は、まだ変化の途上にあります。商用利用や重要度の高い用途では、適切な法律上または専門的な助言を得てください。

初心者向けのたとえ:多くのレシピを学んだシェフ

何千ものレシピを学んだシェフを想像してみてください。そのシェフは、どの食材が一緒に使われやすいか、調理法がどう働くか、さまざまな料理がどのような見た目や味になりやすいかを学びます。

スパイシーなベジタリアンパスタを頼まれたとき、シェフは特定のレシピをそのままコピーする必要はありません。学んだパターンを使って、依頼に合う新しい料理を作ります。

生成AIも少し似ています。多くの例を学び、パターンを身につけ、プロンプトから新しい出力を作ります。

ただし、このたとえには限界があります。人間のシェフは料理を味見し、空腹を理解し、個人的な判断を下し、結果に気を配ることができます。生成AIモデルには、人間の経験や意図はありません。学習したパターンを数学的に適用しているのです。

重要なポイント

では、生成AIはどのように動いているのでしょうか。

  • 生成AIは、例からパターンを学ぶことで新しいコンテンツを作ります。
  • 訓練済みモデルは、単純なコピー&ペーストの記憶ではなく、数値パラメーターとして学習したパターンを保持します。
  • 文章モデルは、多くの場合、言語をトークンに分け、次に来る可能性の高いトークンを予測することで回答を生成します。
  • 現代の言語モデルの多くは、文脈を処理するためにトランスフォーマーアーキテクチャとアテンション機構を使っています。
  • 画像生成ツールは、プロンプトに導かれながらノイズを画像へ変えていくことを学ぶ拡散モデルを使う場合があります。
  • 訓練はモデルにパターンを教え、推論は訓練済みモデルを使って出力を生成します。
  • プロンプトは出力を導きますが、事実としての正確性を保証するものではありません。
  • 生成AIは、ハルシネーション、偏った出力、古い情報を生み出すことがあります。
  • AIは人間のように考えたり、感じたり、理解したりしません。
  • 最もよい結果は、生成AIを道具として使い、そのうえで人間が確認と判断を加えることで得られます。

生成AIが強力なのは、学習したパターンを有用な下書き、画像、説明、アイデアに変換できるからです。一方で、パターンにもとづく生成は検証済みの知識と同じではないため、不完全でもあります。その両面を理解することが、うまく使うための鍵です。