不明瞭で、もしかしたら偏った数学モデルが我々の生活を作り変えている。そして、そのような数学モデルを開発した責任がある企業も政府も、この問題の解決には興味がない。
研究者と米国自由人権協会（ACLU）が、偏見的アルゴリズムを特定し明らかにする研究をする団体、AI Now（AI Now initiative）を設立した。7月中旬、このAI Nowの活動は、アルゴリズムに広がる課題を多くの専門家が話し合うマサチューセッツ工科大学（MIT）で開催されたイベントで発表された。
偏見的アルゴリズムは、機械学習と人工知能（AI）が革新的に成長している今、主要な社会問題となってきている。今までに増して重要な決断を任せれたアルゴリズムに潜む偏見が認識されず、検知もされないままになると、特に、より貧しい地域社会や少数派の人にとって重大な悪影響を招く可能性がある。結果として起こる一般市民の抗議は、とてつもなく役に立つ技術（「機械は偏見を持つのか？ 犯罪者予測システムの是非を問う」参照）の進歩を妨害する可能性もある。
未知の偏見が隠されたアルゴリズムはすでに経済的、または法律的な極めて重要な決断のため、日常的に使われている。排他的な振る舞いをするアルゴリズムは、たとえば、誰を仕事の面接に呼ぶのか、誰の仮釈放を認めるのか、誰に融資をするのかなどを決定するのに使われている。
AI Nowの創業者でもあるマイクロソフトのケイト・クローフォード主任研究員とグーグルのオープン・リサーチ・グループのメレディス・ウィテカー主任は、偏見はあらゆる種類のサービスや製品にあると話す。
「偏見的アルゴリズムの理解はまだ始まったばかりです」と、クローフォード研究員とウィテカー主任はEメールの中で述べた。「2017年になって初めて問題を抱えるシステムを発見しましたが、偏見があると思って調査したから発見できたにすぎません」。
明るみに出た偏見的アルゴリズムの例には、欠陥や虚偽があるシステムを教師のランク付けに使ったり、自然言語処理のモデルに性的差別があったりした。
数学者であり、多くの状況において偏見的アルゴリズムのリスクを浮き彫りにする本、『数学破壊兵器』（原題『Weapons of Math Destruction』、未翻訳）を著した数学者のキャシー・オニール博士は、人は時として数学的モデルを過度に信頼するが、これは数学的モデルが人間による偏見を取り除くと信じるからだと話す。「アルゴリズムは人の思考過程に取って代わりますが、人と同じ道徳的規範を持ってはいません」とオニールは話す。「人びとはアルゴリズムを信頼しすぎます」。
前にも書いたように、またその他研究者も、主要な問題は機械学習システムを開発し、応用する企業や政府の規制当局者をはじめとする重要な利害関係者が、偏見的アルゴリズムを監視し、制約することにほとんど関心を示していないということだ。金融会社やテック企業はあらゆる種類の数学的モデルを使用しているが、どのように運営しているのかは不透明だ。オニール博士は、たとえば、グーグルの新しい求職活動サービスの裏にあるアルゴリズムがどのように機能するかを懸念していると話す。
オニール博士は過去に、ニューヨークにあるバーナード大学で教授として働き、またD.E.ショウ（D. E. Shaw）という投資会社で定量分析をしていた。現在オニール博士は、企業が使用するアルゴリズムの偏見を特定、是正するのを手助けする企業オニール・リスク・コンサルティング＆アルゴリズム・オーディティングの会長を務めている。オニール博士は、自身のアルゴリズムに偏見が含まれている危険性を自覚する人でさえ、偏見を根絶やしにするよりは収支決算に気を取られていると話す。「正直に言うと、現在、私たちに顧客はいません」。
オニール博士、クローフォード主任研究員、ウィテカー主任は皆、人工知能（AI）だけではなく、科学全般に対するトランプ政権の関心不足にもまた警告を発している。関心不足は、アルゴリズムの抱える偏見に対処しないことを意味しているからだ（ 「政策決定に科学的助言は不要！トランプ政権の危機対応能力が危機」参照）。
「米国合衆国科学技術政策局（OSTP）は今や、AI政策に積極的に関与していませんし、Webサイトを見れば何にも関与していません」と、クローフォード主任研究員とウィテカー主任はEメールに書いてきた。「政策はどこか違うところで進める必要があります」。