大学時代、ジョイ・ブオラムウィニはいくつかの顔分析システムは、白いマスクを着けないと彼女の浅黒い肌を検知できないことを発見した。「私は文字通り、テクノロジーの視野に入らなかったのです」とブオラムウィニは話す。
これがきっかけで、マサチューセッツ工科大学（MIT）の卒業論文の研究テーマが決まった。顔分析システムに使用される既存のデータ・セットの大部分が皮膚の色の薄い男性の顔だと突き止めた。そこで、ブオラムウィニは1000人を超えるアフリカとヨーロッパの政治家で構成される、男女比のバランスが取れたデータ・セットを作成した。このデータ・セットを使ってIBM、マイクロソフト、フェイス＋＋（Face++）の人工知能（AI）システムでテストしたところ、性別と肌の色で精度が大幅に異なることが分かった。この3つのシステムが性別を判定する際、より肌の色が白い男性の誤判別率は1％未満だった。ところが、より肌の色が黒い女性の顔の場合の誤判別率は35％と高かったのだ。
フェイスブックが写真に写っている人物を誤って分類することからも分かるように、こうした誤りは迷惑でしかない。だが、AIに頼る分野はますます増えている。司法当局は予測警備に、裁判官はどの刑事被告人が再犯する可能性が高いかを判断するのにAIを使っており、不当に扱われる機会があると思うと恐ろしい。「私たちは自分たちのシステムのチェックを続ける必要に迫られています。システムは思わぬ形で失敗をする可能性があるからです」とブオラムウィニは言う。
元ローズ奨学生であり、フルブライト・フェローであるブオラムウィニは、アルゴリズム・ジャスティス・リーグ（Algorithmic Justice League）を設立し、アルゴリズムの偏見に立ち向かっている。単にアルゴリズムの偏見を明らかにするだけではなく、顔認識システムが精度試験を受けるなど、アルゴリズムに偏見が生じないようにする措置を開発したいと考えている。
（エリカ・ベラス）