ここ数年間で、顔認識、顔検出、顔分析といったテクノロジーの利用が劇的に増加している。
もっとも有名な顔認識システムは、特定の個人を認識して写真に自動的にタグを付けてくれるフェイスブックの機能や、アップルのフェイスID（Face ID）だろう。顔検出システムは、顔が画像内に存在するかどうかを判断し、顔分析システムは性別や人種の特定を試みる。こうしたシステムは、雇用や小売から、セキュリティや監視に至るまでさまざまな目的で利用されている。
多くの人々は、これらのシステムは非常に正確で、公正であると信じている。空港のセキュリティ担当官は疲れていることもあるだろうし、警官が容疑者を見誤ることもあるだろうが、よく訓練された人工知能（AI）なら常に、どんな顔の画像でも正確に識別して分類できるはずだという理屈だ。
しかし実際には、これらのシステムは、一部の層の人々について、他の層の人々より精度が低くなるという研究結果が繰り返し示されている。昨年には、MIT（マサチューセッツ工科大学）メディアラボのジョイ・ブオーラムウィニ研究助手らによる萌芽的な研究「ジェンダー・シェーズ（Gender Shades）」によって、IBM、マイクロソフト、フェイス・プラス・プラス（Face++）の販売するジェンダー分類システムは、肌の色の黒い女性に対する認識精度の誤り率が、肌の色の白い男性より最大で34.4％も大きいことが明らかになった。同様に、アメリカ自由人権協会（ACLU）も、アマゾンの顔認識システムが、非白人に対して、白人の国会議員よりも認識を誤ることが多いことを発見している。
問題は、顔認識や顔分析のシステムが往々にして偏ったデータで訓練されていることだ。それらのシステムの訓練で使われている女性および肌の色の黒い人の画像のデータは、男性および肌の色の白い人の画像に比べてはるかに少ない。多くのシステムは公平にテストされているはずだが、実際にはそれらのテストでは、十分な多様性をもった顔データで性能がチェックされていないことをブオーラムウィニ研究助手は見い出した。訓練に用 …