言語生成アルゴリズムには、人種差別や性差別を助長するような視点が埋め込まれていることが知られている。こうしたアルゴリズムは、ヘイトスピーチやデマを含んでいる可能性があるレディット（Reddit）やツイッターなどのインターネット上の言葉で訓練され、ネット上のダークサイドに存在する有害な考え方は、学習の一環として鍛えられていく。
新たな研究によって、画像生成アルゴリズムにおいても同様の現象が見られることが明らかとなった。首から上を写した男性の写真を画像生成アルゴリズムに与えると、43%の確率でスーツ姿の画像が自動生成される。同様に、女性の写真を同じアルゴリズムに与えると、アレクサンドリア・オカシオ・コルテス米下院議員といった著名人でさえも、53%の確率で胸元の開いた服やビキニ姿が自動生成されてしまうのだ。画像生成だけでなく、映像ベースの人材評価アルゴリズムや顔認識、監視システムなど、すべてのコンピュータービジョンの用途に影響を与える問題だ。
カーネギーメロン大学の博士課程に在籍するライアン・スティードとジョージ・ワシントン大学のアイリーン・カリスカン助教授は、オープンAIのiGPT（単語ではなく画像で訓練したGPT-2のバージョン）とグーグルのSimCLRという2種類のアルゴリズムについて調査した。それぞれのアルゴリズムの画像学習法は異なるが、完全な「教師なし学習」という重要な共通点がある。つまり、画像をラベル付けする際に人間の力を必要としない。
教師なし学習は、2020年時点における比較的新しいイノベーションである。以前のコンピュータービジョンのアルゴリズムでは、人間がラベル付けした画像を与える教師あり学習が主に採用されていた。猫の写真なら「猫」のタグ、赤ちゃんの写真なら「赤ちゃん」のタグといった具合だ。だが2019年、研究者のケイト・クロフォードとアーティストのトレバー・パグレンは、イメージネット（ImageNet：コンピュータービジョンモデルを訓練するための最も基礎的な画像データセット）に含まれる、人間が付けたラベルについてのある事実を発見した。女性に対する「ふしだらな女」といった言葉や、少数民族に対する人種差別的な中傷など、不快な言葉が含まれている場合があるという事実だった。
最近発表されたスティードとカリスカン …