2011年に5カ月間、カーネギーメロン大学のオフィスビルを動き回ったロボットがバナナやクッキー、その他の午後のおやつを職員に配った。間隔の大きく開いた目、ピンク色の口など、スナックボットは親しみやすい顔つきをしていたが、ミスが目立った。職員との会話中に大きく遅れを取るのは当たり前だし、スナックボットを動作させるシステムが固まることも時々あった。
それでも、職員はスナックボットの存在に慣れた。スナックボットはミスを犯した時には謝ったが、相手にとっては愛想が良すぎるようなものだった。
スナックボットの導入は、個性を持つロボットとのやりとりに対して、人間が好意的に反応するか見極めるための実験の一部だ。スナックボットは訓練を受け、半数の職員が好きなおやつのパターンを認識し、そのおやつについてのコメントするようになった。しかしスナックボットは、残りの半数の職員が好きなおやつについて学ぶことはなかった。
時間とともに、スナックボットが仲良くなった職員にお返しをするようになった。職員はスナックボットの名前を呼んで挨拶するようになったし、お世辞を言ったり、一方的にニュースを伝えるようになった。実験の終わりには、1人の職員がスナックボットにお別れのプレゼントを渡した。中身は単三電池だ。職員はロボットには電池が必要ないと知っていたが、それでも電池を渡し、スナックボットがいなくなったら寂しくなるといった。
カーネギーメロン大学の研究者で、実験を主導したミン・キュン・リー研究員は「プレゼントを渡した職員は、スナックボットに心から親しみを感じるようになったそうです」という。
この実験から数年後。機械は個性を宿した。人工知能のテクノロジーによって、アップルのSiriのようにコンピュータ化されたパーソナルアシスタントは、ますます複雑な質問に答えたり、不適切な話題にはユーモアたっぷりにごまかしたりするようになった。ネットフリックスやアマゾンのレコメンド・エンジンは、AIを駆使して次々と映画や本を推薦するのが上手になっている。
人工知能を備えたソフトウェアを人々がどう理解するのかについては、あまり進歩がない。フェイスブックのユーザー40人を1組にした最近の調査では、半数以上がアルゴリズムによってニュースフィードが管理されていると知らなかった。その事実を知らされたとき、驚いた人もいれば、怒りを表した人もいた。
位置情報と他のテクノロジーが機械学習システムにデータを与え、人間が期待するレベルのパーソナライズ機能を作り上げる。「もし一番近いスターバックスを探しているとすれば、Siriがユーザーがいる場所を知っているかどうか、気にする必要はありません」というのは、民主主義とテクノロジーのためのセンターのアリ・ラング政策アナリスト。
しかし、AIシステムはまた、人間には理解できない理由で決断を下すこともある。研究者や消費者の権利を守る弁護士、政策立案者は 無意識的あるいは意識的なバイアスが機械学習システムに存在するのではないかと口にし始めた。そのような機械学習システムでは、原因の認識が難しいアルゴリズム的な差別のパターンが生じる可能性がある。このようなバイアスは何かの理論に基づくわけではない。複数の研究で、すでに、ネット広告や人材募集、価格決定にバイアスがあることが証明されている。そして、バイアスは、すべて中立的なアルゴリズムによって引き起こされていることも、わかっている。
ある研究では、ハーバード大学ラタンヤ・スウィーニー教授がグーグルAdSenseの広告を調べた。白人の赤ちゃん風の名前（ジェフリー、ジル、エマ）と、黒人の赤ちゃん風の名前（デショーン、ダーネル、ジェレマイン）を検索したとき、ヒットした広告を調査したところ、スウィーニー教授は「逮捕」というワードが「黒人」風の名前の次に表示される確率は80%以上だが、「白人」風の名前だと確率は30%以下であることを発見した。スウィーニー教授は、グーグルの広告テクノロジーの方法が「人種的バイアス」の連鎖を起こすことを懸念する。つまり、コンテンストやデート、仕事などの競争で、黒人ぽい名前であることで競争に参加するャンスを損ねる可能性があるわけだ。
ブルーバインやゼストファイナンス、アファームなど、貸金業系のスタートアップ企業の創業者は、AI分析を用いて、融資を承認したり、信用貸ししたりする。こうした企業の創業者は、差別的な融資の規制リスクに特に敏感だ。
それでもまだ、データは変化する。ペイパルの共同創業者マックス・レブチンが創業したアファームは、ソーシャルメディアのフィードを顧客の身元確認に用いるアルゴリズムによって動作する。ただし、申込者のローン返済能力の判断には使わない。元グーグルCIOでゼストファイナンスのダグラス・メリル創業者は「ソーシャルメディアのデータを使うのは気持ち悪いです」と、ソーシャルメディア由来のデータを使うつもりはない。
アファームとゼストファイナンスは、どちらも同じ考えを元に創業した。何万ものデータポイントを見れば、機械学習プログラムは返済能力があると考えられる人の数を増やせると考えているのだ。つまり、数多くの多様なデータを与えられたアルゴリズムは、従来人手に頼ってきた貸付よりも差別的要素が少なくなる。従来の貸付は、はるかに少ない数の要素に基づいていたが、ゼストファイナンスのアルゴリズムが発見した知見では、収入、出費、都市ごとの生活費の組み合わせによる指標に比べて、収入は返済能力を予測するよい判断材料ではない。なお、アルゴリズムはローン申請用紙を全て大文字で記入する人を記録している。全て小文字で記入する人に比べて、全て大文字で記入する人の信用は低いとアルゴリズムモデルが明らかにしているのだ。
認識されていないバイアスを含んだデータが、バイアスのあるアルゴリズムのシステムに読み込まれた場合、そのようなデータは意図的な差別になるのだろうか？ メリル創業者は、公平さが最も重要なゴールのうちの1つだという。差別を防ぐために、ゼストファイナンスでは機械学習のツールを設計し、結果をテストできるようにした。しかし、消費者は差別的な秘密や多面的なプログラムの複雑性を解決できない。そのため、自分が公平に処理されているかはわからないのだ。