株の銘柄選びからX線画像の判読まで、以前なら人間に任されていた意思決定の分野に人工知能（AI）がどんどん利用されるようになってきた。だがAIは、訓練に使われたデータ以上に良いものにはならない。多くの場合、あまりにも人間らしい偏見をアルゴリズムに織り込んでしまうのが落ちで、人々の生活に大きな影響を与える可能性がある。
第三者による検証が困難なアルゴリズム、いわゆる「ブラックボックス」システムの問題を緩和する方法に関する論文が、アーカイブ（arXiv）に公開された。
システムに偏見があると特に厄介になるのが、たとえば、ある人が保釈されたり、融資を認められたりするのを決める際のリスク評価モデリングの分野だ。こうした場合に、人種のような要因を考慮に入れることは一般的に違法だ。しかし、ある人の教育水準や出身地が他の人口統計学情報と関連している可能性があるという事実を、アルゴリズムが認識して学習してしまうかもしれない。そうなればアルゴリズムに人種などの偏見を植え付けることになる。
問題をいっそう面倒にしているのは、そのような決定に使われるAIシステムの多くが、容易に理解できないほど複雑であったり、あるいはアルゴリズムが特許で守られていて企業が説明を拒んでいたりして、ブラックボックスであるということだ。研究者はアルゴリズムの内部で何が起こっているかを調べるツールの開発に取り組んできたが、問題は広くまん延し、拡大している（「『人間はアルゴリズムを信頼しすぎ』グーグルの研究者らが警鐘」を参照）。
ここで紹介する論文は、サラ・タン（研究当時はマイクロソフトに勤務、現在はコーネル大学の博士課程に在学中）と同僚たちが開発した手法を、2つのブラックボックス・リスク評価モデルに試した結果についての報告だ。1つはピアツーピアの融資会社レンディング・クラブ（LendingClub）の融資と貸し倒れ率についてのリスク評価モデル、もう1つは全米の裁判所にアルゴリズムに基づくサービスを提供するノースポイント（Northpointe）による被告の再犯リスク予測モデルだ。
偏見を含んでいるかもしれないアルゴリズムがどのように動作するのかを明らかにするため、タンたちは2つの観点からアプローチした。まず、研究対象とするブラックボックス・アルゴリズムを模倣するモデルを作った。レンディング・クラブやノースポイントがしているのと同じように、初期データセットに基づいてリスクを評価して得点を求めるモデルだ。さらに、現実世界の結果を用いて訓練した2番目のモデルを作り、これを使って初期データセットのどの変数が最終結果にとって重要だったかを決定した。
レンディング・クラブのケースでは、2007〜2011年における多数の支払期限が来たローンのデータを分析した。レンディング・クラブのデータベースには様々なデータ欄があったが、タンたちが見い出したのは、この会社のモデルが申込者の年収とローン用途をおそらく両方とも無視していたことだった。収入を無視するのは理にかなっているかもしれない。自己申告で嘘を書くかもしれないからだ。だがローンの用途はリスクと強く関連している。小規模な企業に融資することは、たとえば結婚式の資金に融資するよりもずっとリスクが高い。したがってレンディング・クラブは重要な変数を無視しているようだった。
ノースポイントは、被告人の再犯可能性を予測するシステム「コンパス（COMPAS）」のアルゴリズムは、量刑を提案するとき人種を変数には含まないという。しかし、米国の非営利・独立系の報道機関であるプロパブリカ（ProPublica）の調査によると、コンパスの評価に基づいて判決を受けた被告の人種情報をジャーナリストが集めたところ、人種による偏見が存在する証拠があったという。タンたちの模倣モデルでは、プロパブリカが集めたデータのほかに、被告の年齢、性別、罪の階級、前科の数、以前の懲役期間についての情報も使った。タンたちの手法による結果はプロパブリカの知見と一致し、コンパスはある年齢と人種集団に偏見を持っている可能性があることを示した。
調査で使ったアルゴリズムは正確な複製ではないうえ、タンたちはやむを得ないにせよ、経験に基づく推測をしていると批判する者もいるかもしれない。だが、アルゴリズムを作成した企業がシステムの動作について情報を公開するつもりがないのなら、この研究で使ったような近似モデルは問題を見抜くのに妥当な方法だと、自然言語処理における偏見についての論文を発表したマサチューセッツ大学アマースト校のブレンダン・オコナー助教授は言う。
「私たちはこういうことが起こっていることに気付く必要があります。目をふさいで、何も起こっていないかのように振る舞うべきではありません」。