Ideas worth a closer look
VIVA PARADOX.Independent stories, clearly told.
Viva Paradox · JA

AIにおけるバイアスとは何か、どう確認できるのか

Conceptual editorial artwork: AIにおけるバイアスとは何か、どう確認できるのか

AIバイアスとは、AIシステムのデータ、設計、出力、または導入方法に体系的な偏りがあり、人や集団にとって不公平、不正確、または有害な結果を生み得る状態を指します。必ずしも意図的なものではなく、モデル全体の正解率だけで常に見えるわけでもありません。

このガイドは、高度な機械学習の知識を前提にせず、バイアスを実務的に理解し確認する方法を必要としている、米国を拠点とするプロダクトマネージャー、コンテンツチーム、学生、初期段階のAI実務者に向けたものです。法的助言ではなく、1つのテストでAIシステムが公平だと証明できると主張するものでもありません。

AIにおけるバイアスとは何か

AIにおけるバイアスとは、AIシステムが体系的に偏った振る舞いをすることを意味します。その偏りは、モデルの訓練や評価に使われるデータ、人が付けたラベル、タスクの設計、選択された特徴量、判断に用いるしきい値、またはシステムが導入される文脈から生じることがあります。

たとえば、応募者の選考に使われるAIモデルでは、応募者の集団ごとに選択率やエラー率が異なる可能性があります。その違いは、直ちに違法な差別や有害なバイアスの証拠になるわけではありませんが、システムをより詳しく調べるべきだというシグナルです。

したがって有用な定義は、絶対的なものというより実務的なものです。AIバイアスとは、ある人々にとって、ほかの人々よりも結果の信頼性、公平性が低くなったり、有害性が高くなったりする可能性のある、モデルの振る舞いのパターンです。

AIバイアスと統計モデルのバイアス

「バイアス」という言葉は、機械学習と公平性をめぐる議論で異なる意味を持つことがあります。

技術的なモデリングの文脈では、バイアスは体系的な予測誤差を指すことがあります。モデルがある値を一貫して過大予測したり過小予測したりする場合です。このような統計的バイアスは、モデルの品質に影響するため重要です。

有害な社会的バイアスはそれとは異なります。これは、AIシステムの出力や判断が、公平性、信頼、または害に関する懸念を生む形で、人や集団を不利に扱っていないかという問題です。モデルに予測誤差があっても不公平な扱いを生まないこともあれば、全体の性能が許容できるように見えても不公平な扱いを生むこともあります。

この区別が重要なのは、バイアスは1つの数値で解決できるものではないからです。AIのリスクと信頼性に関するNIST AIリスクマネジメントフレームワークの議論では、バイアスと公平性を、あらゆる文脈で単一の指標によって決着できるものではなく、より広い信頼性とリスク管理の課題の一部として扱っています。

AIバイアスはどこから生じるのか

AIバイアスは、システムのライフサイクルの複数の時点で入り込む可能性があります。主な発生源には次のようなものがあります。

代表性のない訓練データまたは評価データ

モデルの訓練や評価に使われるデータが、そのモデルが実際に出会う人、事例、条件を表していない場合、モデルの性能にばらつきが出ることがあります。GoogleのMachine Learning Crash Courseは、訓練データや評価データが、モデルが向き合う母集団やユースケースを代表していない場合や、データで何を収集し、何にラベルを付け、何を除外するかに人間の判断が関わる場合に、バイアスが生じ得ると説明しています(Google ML Crash Course:バイアスを特定する)。

たとえば、あるシステムが主に特定の地域、職業、年齢層、または顧客セグメントのデータで評価されている場合、ほかの集団に対する性能は不確かかもしれません。

データに含まれる過去のパターン

訓練データは、多くの場合、過去の判断を反映しています。過去の判断に偏りがあったり、不完全だったり、社会的なパターンの影響を受けていたりすると、誰かが意図的にバイアスをプログラムしていなくても、モデルはそのパターンを学習する可能性があります。

これが、AIのバイアスが意図せず生じることが多い理由の一つです。モデルは、過去の記録がシステムの学習すべき例として扱われるため、その記録に埋め込まれたパターンを再現することがあります。

測定とラベル付けの選択

AIシステムは、ラベルや目的変数から学習します。ラベルにノイズがあったり、主観的だったり、一貫して適用されていなかったりすると、モデルはその不一致を学習してしまうことがあります。

たとえば、人間の審査担当者が似た申請に異なるラベルを付ける場合や、あるグループの記録が別のグループよりも充実している場合、モデルは本来のタスクにおける意味のある違いではなく、測定上の違いを反映したパターンを学習することがあります。

代理変数

モデルはセンシティブな属性を直接使っていなくても、その属性の代理として働く別の特徴量を使うことがあります。地域、学歴、職歴、デバイスの種類、言語パターン、タイミングに関する情報は、文脈によってはグループへの所属と相関する場合があります。

代理変数が公平性上の懸念を生むかどうかは、ユースケース、結果、そして害の内容によって異なります。重要なのは、あらゆる相関が不適切だということではありません。審査する側が保護属性が明示的に含まれているかどうかだけを確認していると、代理変数によってバイアスの発見が難しくなるという点です。

目的関数としきい値

ある一つの目標に最適化されたモデルは、不均等な結果を生むことがあります。たとえば、全体の精度を最大化すると、より小さなサブグループでの低い性能が見えにくくなる場合があります。判断のしきい値もグループごとに異なる影響を与えることがあります。基準値を上げたり下げたりすると、偽陽性、偽陰性、選択率が不均等に変わる可能性があります。

導入環境の不一致

ある環境で評価されたモデルが、別の環境では異なる挙動を示すことがあります。対象となる人々が変わったり、入力データの収集方法が変わったり、ユーザーが予期しない形でツールを使ったりすることがあります。公平性は文脈に左右されるため、一つの評価に合格したからといって、どの導入環境でもシステムが公平であることの証明にはなりません。

AIのバイアスが重要な理由

AIのバイアスが重要なのは、多くのAIシステムが意思決定、推薦、ランキング、リスク推定、機会へのアクセスに影響を与えるためです。モデルの誤りが不均等に分布していると、一部の人は誤って拒否される、誤警報を受ける、信頼性の低いサービスを受けるといった状況により多く直面する可能性があります。

実務上のリスクには、次のようなものがあります。

  • 機会やサービスへのアクセスが不均等になること。
  • 十分に代表されていないグループに対する予測が不正確になること。
  • 説明のない結果や一貫しない結果に直面したユーザーの信頼が低下すること。
  • 十分に説明または監視できないシステムを導入するチームに生じる評判上のリスク。
  • 関連する場合には、資格のある法律専門家や分野の専門家と検討すべきコンプライアンス上の懸念。

重要なのは、集計された性能だけでは不十分だということです。モデルは全体としては有用に見えても、特定のサブグループに対しては受け入れがたい誤りのパターンを生み出している場合があります。

AIのバイアスはどう確認できますか

バイアスの確認では、データセット全体だけを見るのではなく、関連するサブグループ間で結果と誤りを比較する必要があります。どのグループや指標が適切かは、ユースケース、利用可能なデータ、想定される害によって異なります。

実務的な手順は次のとおりです。

  1. テストする判断を定義します。モデルが何を出力し、その出力を受けて人または自動処理がどのようなアクションを取るのかを明確にします。
  2. 評価に関連するグループを特定します。適切で利用可能な場合には、法的に保護された属性が含まれることがありますが、地域、言語、顧客タイプ、データソースなど、意味のあるほかの区分が含まれることもあります。
  3. 評価用データセットを作成します。想定している用途をできるだけ反映したデータを使います。実データが不完全な場合は、何が欠けているのかを文書化します。
  4. 全体の性能を測定します。これは基準値になりますが、評価はそこで終わりではありません。
  5. サブグループごとの結果を比較します。選択率、不採用率、誤り率、偽陽性率、偽陰性率、またはその判断がもたらす結果に合ったその他の指標を確認します。
  6. 重要な差を調査します。大きな差がある場合は、データの代表性、ラベル、特徴量、しきい値、導入時の前提を見直すきっかけにすべきです。
  7. 限界を文書化します。サブグループのサンプル数が少ないこと、人口統計データが欠けていること、ラベルが不確かであることは、結果を不安定にする可能性があります。
  8. 変更後に再テストします。バイアス確認は継続的に行うべきです。特に、データ、ユーザー、モデルのバージョン、判断しきい値が変わる場合は重要です。

適切な指標は、どのような害を問題にするかによって決まります。スクリーニングシステムでは、条件を満たす人が誤って不採用になるため、偽陰性が重要になる場合があります。不正検知や安全管理のシステムでは、人が誤ってフラグ付けされるため、偽陽性が重要になる場合があります。多くの場面では、どちらも重要です。

例で見る:履歴書選考モデルの確認

以下は架空の例です。実在の製品、実在の雇用主、または観測されたモデル性能を説明するものではありません。目的は、チームがサブグループ別の指標を計算し、さらに調査が必要かどうかを判断する方法を示すことです。

シナリオ

ある企業が履歴書選考用の分類器を評価しています。このモデルは応募者を人による確認に進めるか、不採用にするかのどちらかを行います。評価データセットには、人口統計上の2つのグループであるグループAとグループBが含まれており、この単純化した例では応募者数は同じです。

チームは、各応募者がその職務に適格かどうかを示す参照ラベルを持っています。実際の評価では、そのラベルの品質と一貫性を慎重に確認する必要があります。

合成評価データ

グループ 応募者数 適格な応募者 不適格な応募者 適格者の通過 適格者の不採用 不適格者の通過 不適格者の不採用
グループA 100 50 50 40 10 10 40
グループB 100 50 50 30 20 5 45

これらの件数から、有用な3つの指標を計算します。

1. 選択率

選択率とは、モデルによって次段階に進められた応募者の割合です。

  • グループA:(通過した適格者40人+通過した不適格者10人)/100=50%
  • グループB:(通過した適格者30人+通過した不適格者5人)/100=35%

この合成例では、グループBが次段階に進められる頻度は低く、15パーセントポイントの差があります。

2. 偽陽性率

偽陽性率とは、不適格な応募者のうち次段階に進められた人の割合です。

  • グループA:10/50=20%
  • グループB:5/50=10%

この例では、グループAのほうが偽陽性率は高くなっています。

3. 偽陰性率

偽陰性率とは、適格な応募者のうち不採用になった人の割合です。

  • グループA:10/50=20%
  • グループB:20/50=40%

この例では、グループBの偽陰性率のほうが高くなっています。これは重要です。合成データでは、適格なグループBの応募者が、適格なグループAの応募者の2倍の割合で不採用になっているためです。

参考となる解釈

妥当な参考回答は次のとおりです。追加調査を行わないまま、このモデルを現状のまま導入して判断に用いるべきではありません。

その理由は、この表が違法な差別を証明しているからでも、モデルがあらゆる場面でバイアスを持つと証明しているからでもありません。実際、そうした証明にはなっていません。理由は、機会へのアクセスに影響する判断において、グループ間で選択率と偽陰性率に実質的な差が見られるためです。

チームはいったん立ち止まり、次のような点を調査すべきです。

  • 評価データは応募者全体を代表していますか。
  • 適格性のラベルはグループ間で一貫していますか。
  • 一方のグループについて、重要な適格性情報がデータから欠けていませんか。
  • 一部の特徴量が、グループ所属の代理変数として機能していませんか。
  • 別の判断しきい値を使うと、ある差は小さくなる一方で、別の差が悪化しませんか。
  • 自動不採用ではなく、人によるレビューを伴う意思決定支援にモデルの用途を限定すべきではありませんか。

境界的なケース

評価セットにグループBの応募者が5人しかいなかった場合、大きなパーセンテージ差は不安定かもしれません。1件または2件の結果が変わるだけで、指標は大きく変わる可能性があります。だからといって懸念を無視してよいわけではありません。チームには、より多くのデータ、統計的な検討、またはより慎重な導入判断が必要だということです。

実務的な判断ルール

このルールは公平性の証明書としてではなく、スクリーニングのための手段として使います。

関連するグループ間で選択率または誤り率に実質的な差がある場合、チームがデータの代表性、ラベル、特徴量、しきい値、監督体制を調査するまで、導入を一時停止するか、モデルへの依存を限定します。

このルールは意図的に保守的にしています。すべての差が有害なバイアスだと言っているわけではありません。タスク固有の説明がつく差もあります。しかし、全体の正解率が許容できそうに見えるというだけで、実質的な差を見過ごすべきではありません。

公平性指標は互いに衝突することもあります。偽陽性を減らすと偽陰性が増える場合があり、あるグループを助けるためにしきい値を変えると、別のグループに影響することもあります。そのため、どの指標を選ぶかは、その判断、影響を受ける人々、そしてチームが減らそうとしている具体的な害に結びつける必要があります。

現実的な失敗例:正解率がサブグループへの害を隠す場合

別の合成評価を考えてみます。あるモデルを1,000件のケースでテストします。

グループ ケース数 正しい予測 正解率 偽陰性率
グループA 900 810 90% 10%
グループB 100 80 80% 35%
全体 1,000 890 89% 全体の正解率だけでは十分に判断できない

チームが最上位の数値だけを確認している場合、89%という全体の正解率は高く見えるかもしれません。しかしサブグループ別の表を見ると、グループBは正解率が低く、偽陰性率がはるかに高いことが分かります。

だからこそ、サブグループ分析が必要です。集計指標は、データセット内で最大のグループに左右されることがあります。小規模なグループや過小代表のグループでは、全体スコアがなお許容できそうに見えていても、はるかに悪い結果が生じる可能性があります。

バイアス確認で証明できないこと

バイアス確認は必要ですが、限界があります。

第一に、単一の指標だけで公平性を証明することはできません。NIST AIリスクマネジメントフレームワークは、バイアスと公平性をAIの信頼性とリスク分析というより広い問題の一部として位置づけています。つまり、チームは一つのスコアだけでなく、文脈、害、有効性、セキュリティ、プライバシー、透明性、ガバナンスを考慮する必要があります(NIST AI RMF)。

第二に、評価データが不完全な場合があります。人口統計属性が利用できない、信頼できない、または一貫しない方法で収集されている場合、サブグループ分析は難しくなります。チームは、関連するグループを責任ある形で評価するために、プライバシーに配慮した手法や専門家の助言を必要とする場合があります。

第三に、サンプルが少ないと判断を誤ることがあります。事例数の少ないサブグループでは、安定しない大きな割合の変動が見える場合があります。だからといって調査の必要がなくなるわけではありません。変わるのは、結果に対する確信の度合いと、必要なフォローアップの種類です。

第四に、ラベル自体にバイアスが含まれる場合があります。「正解データ」が主観的な判断や、歴史的に偏った人間の意思決定を反映している場合、モデルは同じ問題を再現しながら、正確に見えることがあります。

第五に、導入後の状況によって結果が変わることがあります。過去データで評価されたモデルでも、人々がそのモデルに合わせて行動を変えたり、応募者層が変化したり、システムが別のワークフローで使われたりすると、異なる挙動を示す場合があります。

重要なポイント

  • AIにおけるバイアスとは何ですか。AIシステムのデータ、設計、出力、または利用に生じる体系的な偏りであり、不公平、不正確、または有害な結果をもたらす可能性があります。
  • AIのバイアスは、常に意図的なものとは限りません。代表性のないデータ、人によるラベル付けの選択、過去のパターン、代理変数、しきい値、または導入環境の不一致から生じることがあります。
  • 全体の正解率だけでは不十分です。関連するサブグループごとに、結果とエラーを比較します。
  • 有用な確認には、選択率とエラー率が含まれます。スクリーニングのような意思決定では、偽陰性と偽陽性がそれぞれ異なる害を示すことがあります。
  • 一つのテストで公平性を認証することはできません。バイアス確認は文脈に依存するため、データ、モデル、しきい値、ユースケースが変わるたびに繰り返す必要があります。

実務上の目標は、モデルが完全に公平だと宣言することではありません。重要なのは、実質的な差を早い段階で見つけ、調査し、避けられる害を減らし、よりよい導入判断につなげることです。