2008年の金融危機（リーマン・ショック）当時、金融業界で働いていたキャシー・オニールは、アルゴリズムをどれほど多くの人が信頼し、アルゴリズムがどれほど多くの損壊をもたらしたのかを目の当たりにした。オニールは金融業界に失望してテック業界に飛び込んだが、ターゲティング広告から不動産担保証券のリスク評価モデルに至るまで、人々はあらゆるアルゴリズムに対して盲目的な信仰を抱いていた。だから、彼女は業界を去った。「自分を含めて業界がやっていることが、信頼できるもとは思えなかったのです」。オニールはそう話す。
自分が「業界の共謀者であり、無自覚のツール」であるという気づきをきっかけにオニールが書き上げたのが、『あなたを支配し、社会を破壊する、AI・ビッグデータの罠（原題：Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy）』（2018年、インターシフト刊）だ。アルゴリズムが客観的であるという考え方を打ち壊し、次々と実例を挙げながら、アルゴリズムがどのように不平等の永続化を図り、実行しているかについて明らかにした。
オニールの著書が出版されるまで、「人々は、アルゴリズムは予測ではなく分類をするものであり、（中略）数学の問題ではなく政治の問題であるということを、まったく理解していませんでした。誰を、何を信頼するのかという問題だったのです」とオニールは述べている。
オニールは、すべてのアルゴリズムは特定の成功や成果に対する概念に最適化されており、過去のデータに基づいてパターン認識を訓練されていることを示した。例えば、「あなたのような人は過去に成功しているので、あなたは将来成功するはずだ、と推測することが妥当」、 あるいは「あなたのような人は過去に失敗しているので、あなたは将来失敗するはずだ、と推測することが妥当」といった具合だ。
確かにこれは合理的なアプローチに見えるかもしれない。だがオニールは著書の中で、それがいかに重大かつ有害な形で破綻してるかを明らかにしている。例えば、再犯の可能性を予見するよう設計されたアルゴリズムは、有色人種や貧困層、治安の悪い地域に住んでいる人、精神衛生や依存症の問題を抱えている人などに、不公平な負担を押し付けている恐れがある。「私たちは、刑務所制度の成功が何なのか、実際に定義しているわけではありません」とオニールは言う。「これまでもそうだったのだから、今後もそうだろうと単純に予測し続けているだけです。非常に悲しいことですし、残念なことですが、これは社会の悩みの種の責任を一部の犠牲者たちに転嫁してきた歴史があるということを物語っているのです」。
次第にオニールは、こうした不平等を強化している別の要因を認識するようになった。それは「侮辱（Shame）」である。「私たちは、本当に選択肢がないために起きてしまうある人の振る舞いについて、その人を侮辱できるのでしょうか。太らないようにするのは、実際に自分が何かを選択することでどうにかなるものではありません。ダイエット企業の言い分は違うようですが。自ら何かを実際に選択して、依存症から抜け出せるでしょうか。あなたが考えるよりも、実際にははるかに難しいことでしょう。あなたは自分のことを説明する機会を与えられたことがありますか？ 私たちは、当事者に選択肢も発言権もない事柄に関して、その当事者を侮辱してきたのです」。
オニールの新著『The Shame Machine: Who Profits in the New Age of Humiliation（侮辱機械：恥辱の新時代に利益を得るのは誰か）』（未邦訳）について、電話とメールで話を聞いた。今作でオニールは、私たちの文化において侮辱を武器として使う多くの方法と、それに対してどのように反撃するのかを掘り下げている。 …