アルゴリズムと人工知能で動作するテクノロジーは、すでに生活に溶け込んでいる。こうなると、面倒な疑問がわいてくる。プログラムの動作は公平なのだろうか？ それとも、人間の偏見をある程度は受け継いでいるのだろうか？
Facebookの「トレンドトピック」の選び方にリベラル的偏向が疑われた米国の論争は、この問題の核心を突いている。米上院はフェイスブックに公式の説明を要請し、今週シェリル・サンドバーグCOOは、社員が自身の政治的傾向を把握し、自重できるような社員教育を始めるとを発表した。
しかし、こうした現象はキックスターターのフレッド・ベネンソン元データ主任が「数学的洗浄（mathwashing）」と呼ぶ風潮のひとつに過ぎない。システムの根幹が数学（マス）的に基づいて洗浄（ウォッシング）されているのだから、Facebookなどのプログラムは完全に客観的だと思い込んでしまうのだ。
プログラムが潜在的に偏向している理由は、開発者の多く（特に機械学習の専門家）が、事実として男性だからだ。マイクロソフトのマーガレット・ミッチェル研究員が、「男だらけ」の危険性について、まさにこの種のプログラム開発について嘆いているのをブルームバーグの記事も紹介している。
この問題への懸念が広がっているのは、中立的とみなさなれきたオンライン広告や求人、価格戦略の決定アルゴリズムに、研究者が偏向の証拠が発見したからだ。
たとえば、ハーバード大学ラターニャ・スウィーニー教授の研究では、白人の赤ちゃんに多い名前（ジェフリー、ジル、エマなど）と黒人の赤ちゃんに多い名前（デショーン、ダーネル、ジャーメインなど）で検索したときに表示されるグーグルAdSense広告の違いに着目した。80%以上の「黒人」の名前の横には「arrest（逮捕）」を含む広告が表示されたのに対し、「白人」の名前では30%以下だったのだ。
スウィーニー教授は、グーグルの広告テクノロジーが人種偏向を固定化することで、コンテストの募集であれデートであれ仕事であれ、黒人が競争に参加するチャンスが奪われかねないと憂慮している。融資やクレジットカードの申し込みなど、米国で以前から人種差別が横行してきた分野では、特に注意が必要だ。
オンライン融資会社ゼストファイナンスは、機械学習プログラムで何万人という単位でデータを処理すれば、信用力があるとみなせる人を増やせる、という構想のもとに設立された。ゼストは、融資が差別的になる危険性に対処するため、与信結果を検査するツールを構築した。
しかし、人間が認知できない偏向がアルゴリズム内だけでなく、流入するデータに紛れ込めば、誰も気付かないうちに差別的プログラムになる危険がある。また、消費者は複雑なプログラムの中身が開示されない以上は、公平に扱われていると確認する方法がない。
Technical.ly Brooklyn（都市別の企業と起業家のコミュニティ）のイベントで、ベネンソン元データ主任は「アルゴリズムとデータドリブン型のサービスや製品は、当然、開発者の設計思想が反映されます。そうでないと考えるのは、無責任です」と述べた。
（関連記事：Wall Street Journal, Technical.ly Brooklyn, Bloomberg, “人工知能、離陸”）