「将来の犯罪者を予測するために米国全土で使われているソフトウェアは、黒人に対して偏見を持っている」。「機械の偏見」という見出しの付いた記事の前文には、このように書かれていた。
ピューリッツァー賞を受賞した米国の非営利・独立系報道機関であるプロパブリカ（ProPublica）は、コンパス（COMPAS）という名前で知られるリスク評価ソフトウェアについて分析した。コンパスは犯罪者の再犯可能性を予測するシステムだ。米国中の法廷で裁判官たちがこうした予測を活用し、保釈金額から判決にいたるまで被告人や受刑者の未来を決定している。
プロパブリカは、フロリダ州のある郡で、1万人以上の逮捕者に対するコンパスのリスク評価と実際の再犯率を比較した。その結果、コンパスのアルゴリズムは「黒人と白人の被告人の再犯を、ほぼ同じ確率で正確に予測していた」。だが、アルゴリズムの予測が間違っていた時、黒人と白人に対する間違え方の傾向は異なっていた。具体的には、「コンパスが再犯の可能性が高いと判断したにもかかわらず、実際には再犯しなかった黒人は白人のおよそ2倍」であった。一方で、白人に対しては反対の間違いをしがちであった。つまり、「黒人に比べて白人の方が、再犯の可能性が過小評価されがち」なのだ。
コンパスのようなシステムの使用が適切かどうかは、人種的な偏見を越えた問題だ。ウィスコンシン州の受刑者は、コンパスの助言を参考にして裁判官が下した判決が、被告人にとって不透明で、公正な法手続きを受ける権利が侵害されたと主張。近いうちに連邦最高裁判所が審理する可能性がある。意志決定自動化（ADM)システムが引き起こす問題は、司法制度以外にも存在する。たとえば多くのADMシステムが、オンラインの適性検査に基づき、職業に適した資質を持っているかどうかを判断する支援をしている。クレジット・スコアのアルゴリズムは、住宅ローンやクレジットカード、あるいは一番割安な携帯電話を契約するときにすら非常に重要な役割を担っている。
コンパスのようなリスク評価システムを使うことは必ずしも悪い考えではない。多くの場合、ADMシステムによって公平性を高めることができるからだ。人間の意志決定は、ともすればあまりに一貫性がないため、司法基準に合わせるためには管理が必要になる。気がかりな研究結果がある。裁判官が食事休憩をとった直後は、仮釈放委員会が受刑者を釈放する傾向が強くなる というのだ。おそらく裁判官たちは、この事実に全く気づいていなかっただろう。ADMシステムを利用すれば、そういった意志決定の非整合性を発見し、プロセスを改善できるはずだ。
だが、ADMシステムがどうやって判断を下しているのかよくわからないことが少なくないので、人間だけで判断する場合よりも公正になるのかどうかはわからない。ひとつには、システムの選択が設計者にすら不透明な前提条件に基づいているため、どのアルゴリズムにバイアスがかかっていて、どれにかかっていないのかを必ずしも特定できないことがある。プロパブリカがコンパスに関して発見したように、答えが明らかに思える場合ですら、真実はしばしばもっと複雑だ。
ADMシステムをうまく活用するにはどうしたらいい …