大統領選挙戦は、米国社会の一部に男性中心主義が依然として定着していることを浮き彫りにした。だが、人工知能システムの学習でも、意図せずに機械を性差別主義者にしていることがわかっている。
新しい研究によれば、AIプログラムに言語能力を学習させるデータセットに性差別的な傾向がわずかに浸透している。性差別的な傾向のあるAIシステムの性能が向上し、広く利用されるようになれば、システムに組み込まれた性差別的な視点は、たとえば就職活動に悪い影響を及ぼしかねない。
問題の原因は、読み方や話し方を機械に学習させる方法にある。コンピューター科学者は非常に多くの書き言葉や話し言葉を機械に投入し、単語やフレーズ間の関連性を機械に算出させている。
機械が生成する「単語埋め込み（Word Embedding）」というデータセットは、言語を扱うAI（チャットボットや翻訳システム、画像説明プログラム、推薦アルゴリズムなど）の訓練に広く使われている。単語埋め込みでは、単語間の関連性を数値で表し、たとえば「王」と「女王」の意味的なつながりを機械が把握し、2つの単語の関連性が「男性」と「女性」という単語の関連性に似ていると理解する。しかし、このデータセットは「プログラマー」という単語が「女性」よりも「男性」に近く、「女性」に最も似ている単語を「主婦」とみなしていることが、ボストン大学とマイクロソフト・リサーチ・ニューイングランドの研究者によって発見された。
マイクロソフト在籍中にこの研究に関わったスタンフォード大学のジェイムズ・ゾウ助教授によると、データセットに偏りがあることで、人間が意図しないさまざまな結果が生じうるという。「AIシステムが偏った単語埋め込みを利用することで生じる影響の全容を、私たちはまだ理解しようとしている最中です」とゾウ助教授はいう。
研究チームは、いくつかの単純な実験により、性差別的な傾向がどのように現れうるかを示した。複数のWebページを解析して内容の関連性を順位付けするようなブログラムを開発したところ、「プログラマー」に関して、男性プログラマーより女性プログラマーの情報の関連性を低く順位付けることを発見した。
さらに研究チームは「プログラマー」のような性的に中立な単語と「男性」や「女性」といった性差を表現する単語間の数学的な関連性を調整し、単語埋め込みから性差別的な傾向を取り除く方法を開発した。
しかし、データセットから性差別的な傾向を取り除くべきではないと考える人もいる。プリンストン大学コンピューター科学部のアルビンド・ナラヤナン助教授も単語埋め込みを分析し、性別や人種等の偏見が学習データに含まれることを発見した。しかしナラヤナン助教授は、単語埋め込みから性差別的な傾向を自動的に取り除くことに、必ずしも賛成ではない。ナラヤナン助教授によれば、偏見を自動的に除去すれば、コンピューターによる現実世界の表現は歪曲され、コンピュータの予測やデータ分析がうまくいかなくなる可能性があるという。
「こうした偏見はバグではなく特徴として考えるべきです。偏見かどうかはアプリケーション次第なのです。あるアプリケーションがひどい偏見や先入観に基づいていても、別のアプリケーションではユーザーがデータから得ようとした正確な意味があるかもしれません」
単語埋め込みデータセットには、グーグルの研究者が開発したWord2Vecやスタンフォード大学で開発されたGloVeがある。Word2Vecに性差別的な傾向があることを示した研究に対してグーグルはコメントを拒否した。しかし、グーグルは明らかに難題を認識しており、最近投稿されたブログで、有用性を損なわずに意思決定AIシステムからバイアスを取り除く技術的な取り組みが説明されている。
AIの危険性の理解を目的として、スタンフォード大学が計画した「AI 100」という報告書 （「シンギュラリティは杞憂 スタンフォード大学が見解」参照）の共著者であるハーバード大学のバーバラ・グロズ教授によると、偏見のあるAIシステムは既存の不公平を悪化させる可能性があるという。「ある方向に進歩している社会に暮らしていれば、実際には人は過去とは違う未来にしようとするでしょう。このような予測をアルゴリズムに頼る場合、まさに人々が望む進歩を妨げるのかどうか倫理的な疑問があります」とグロズ教授はいう。
データセットから偏見を取り除いても意味がない場合があり得るとグロズ教授は認めている。「全ての種類の偏見を避けることは不可能でしょう。しかし、自身の設計には注意を払う必要があります。また、自身が製作したプログラムやその結果について主張する内容にも注意すべきです。このような倫理的な問題の多くに対して、正しい答えがひとつとは限りません」とグロズ教授は付け加えた。