2018年夏、約70の公民権団体および研究団体がアマゾンのジェフ・ベゾスCEO（最高経営責任者）に公開状を送り、同社が政府に顔認識テクノロジーを提供するのを止めるよう訴えた。米国政府による移民の追跡および国外退去の動きにおいてテック企業が果たしている役割に対する注目が高まる中、公開状はアマゾンに対して「公民権と市民の自由のために立ち上がる」よう求めた。さらに「宣伝されているように、強力な監視システムである『レコグニション（Rekognition）』は権利を侵害したり、有色人種コミュニティを標的としたりするのに容易に利用できます」と訴えた。

さらにこの公開状と共に、アメリカ自由人権協会（ACLU）ワシントン財団は15万筆の署名、さらには同様の要求をまとめたアマゾンの株主からの公開状を提出した。数日後には、アマゾンの従業員らが内部文書で同様の懸念を示した。

こうした圧力の高まりにも関わらず、アマゾンは通常通りに事業を継続した。レコグニションを「要注意人物」の監視ツールとして売り出し、政府に対するその他の監視ツールの提供をさらに強化した。たとえば、リング（Ring）が買収され、アマゾンの子会社となったのはそのわずか数カ月前のことだったが、リングのホームセキュリティ・カメラ映像の犯罪捜査への利用に関して、1300以上の司法当局とすばやく提携を結んでいた。

だが、2020年6月10日、アマゾンは警察によるレコグニションの使用を1年間停止すると発表し、公民権活動家や研究者たちを驚かせた。この発表は、汎用顔認識システムの使用停止を決定したIBMに続く形となった。その翌日にはマイクロソフトが、連邦法によって顔認識テクノロジーが規制されるまで、同社の顔認識システムの警察への販売を停止すると発表した。アマゾンの譲歩は3社の中では最も小さなものではあるが、同社は司法当局に対する顔認識テクノロジーの最大の提供元でもある。今回の決定は、レコグニションの技術的欠陥や濫用の可能性を示すために実施されてきた2年間の研究および外部からの圧力が実を結んだ形となった。

「アマゾンが現在の人種差別に関する対話に実際に応えたというのは驚くべきことです」。人工知能（AI）の説明責任を専門とする研究者で、アマゾンの顔認識テクノロジーに組み込まれた人種的バイアスや不正確性についての基礎研究論文を共同執筆したデボラ・ラジはそう話す。「これは現在の流れがいかに強力なものであるかを示す形となっています」。

「今からが始まりです」。ACLUマサチューセッツ支部テクノロジー自由プログラム部門のケイド・クロックフォード部長は話す。「この2年間、人種に関する正義を求める人々は、顔認識監視テクノロジーが米国の黒人および褐色人種を危険に晒すとアマゾンに訴えてきました。そして少なくとも暗黙の内には、アマゾン側がその訴えは正しかったとはっきり認めたことになります。これは驚くべきことです」。

2年間の闘い

2018年2月、マサチューセッツ工科大学（MIT）の研究者であるジョイ・ブオラムウィニ博士と当時マイクロソフトの研究者だったティムニット・ゲブル博士が、商用顔認識システムに組み込まれたジェンダーおよび人種的バイアスに関する革新的な研究を発表した。「ジェンダー・シェイズ（Gender Shades）」と呼ばれるこの研究は当時、マイクロソフト、IBM、そして中国の顔認識テクノロジー大手の1つであるメグビー（Megvii）らが販売している顔認識システムを対象としており、アマゾンのレコグニションは含まれていなかった。

それでも、ジェンダー・シェイズはこの手の研究としては初のものであり、結果は衝撃的だった。最悪だったのはIBMのシステムで、肌の色の濃い女性の認識精度は、肌の色の明るい男性のそれに比べて34.4%低いという結果になった。この研究結果により各社が売り文句にしてきた精度の高さには偽りがあったことが即座に知れ渡り、顔認識全般に関する議論が活発化することになった。

議論が熱を帯びる中、この問題は偏った訓練データや不完全なアルゴリズム以上に根深いものであることがすぐに明らかになった。仮にこれらのシステムが100%の精度を実現したとしても、危険な形で利用される可能性があると多くの研究者や活動家が警告した。

「このテクノロジーは、2つの方法で人々を傷つけます」。ジェンダー・シェイズにおいて、ブオラムウィニ博士、ゲブル博士と共に研究をしたラジはそう語る。「1つは機能しないことによってです。有色人種に対する高いエラー率により、彼らを危機に晒します。2つめの状況は、顔認識テクノロジーが機能することによって起こります。完璧な顔認識システムは、コミュニティに危害を加えるための武器として容易に利用されてしまいます。この2つは別の問題であり、また関連している問題でもあります」。

「ジェンダー・シェイズの研究は、前者の状況を明らかにすることを目的としていました」とラジは話す。そのことが、後者の問題を明らかにするきっかけを作ることになったのである。

アマゾンはこの研究を主導したのが黒人女性たちであるとして、研究の信頼性を損なわせようとしました。

メレディス・ウィテカー

IBMとは次のような流れで事態が展開した。ジェンダー・シェイズが公開された後、バイアス問題を解決する方法を探ろうと研究者らに接触を図った最初の企業の1社がIBMだった。2019年1月、IBMはダイバーシティ・イン・フェイセズ（Diversity in Faces）と呼ばれる、100万枚以上のタグ付けされた顔画像のデータセットを公開し、システムの改善を図ろうとした。しかしこれら画像がフリッカー（Flickr）から取得されたものであることが明らかになったことでこの動きは裏目に出る結果となり、同意やプライバシーといった問題を表面化させた。また企業内でも、いかにして倫理的に顔認識システムを訓練するかについて議論が交わされた。「そのことで彼らは、顔認識テクノロジーが抱えていたさまざまな問題を発見することになりました」（ラジ）。

そういった経緯から、IBMが最終的に顔認識から手を引くことになったのは驚きではなかった（同社のシステムはどのみち市場での足がかりをうまく掴めていなかったの指摘もある）。IBMは「単に、顔認識システムがもたらす害が『利益』とまったく釣り合わないことを理解したのです」とラジは話す。「特に今の状況は、IBMにとって顔認識からの撤退を公けにするのにふさわしいものだったわけです」。

しかし、IBMが外部からのフィードバックにうまく対応したのに対し、アマゾンは対照的な反応を見せた。2018年6月、警察のレコグニション使用を止めるように求める公開状がアマゾンに相次ぐ中、ラジとブオラムウィニ博士はジェンダー・シェイズによる監査を拡大し、レコグニションが調査対象に含まれることになった。半年後に査読済み論文で公開された調査結果では、技術的な精度が非常に低いことが改めて明らかになった。レコグニションによる肌の色の濃い女性のジェンダーの分類精度は、肌の色の明るい男性を対象とした場合より31.4%も低かったのだ。

7月にはACLU北カリフォルニア支部が独自の研究を実施し、レコグニションが米国議員28人の顔写真を誤って認識したことを明らかにした。また、誤って認識された有色人種の議員の割合は特に高かった。

しかし、アマゾンはこの結果を認めず、ラジとブオラムウィニ博士の研究は誤解を招くものだと主張する2件のブログ記事を投稿した。これに対してチューリング賞受賞者であるヨシュア・ベンジオを含む約80人のAI研究者らがこの研究を擁護し、再びアマゾンに対して顔認識システムの警察への販売を中止するよう求めた。

「感情的になってしまう体験でした」とラジは振り返る。「研究結果については細心の注意を払っていました。それでも彼らは当初、露骨に対立的で、自分たちの保身のために攻撃的な対応を取ってきたのです」。

「アマゾンはこの研究を主導したのが黒人女性たちであるとして、研究の信頼性を損なわせようとしました」。AIの社会的影響について研究するAIナウ研究所（AI Now Institute）の共同設立者であるメレディス・ウィテカー所長はそう語る。「顔認識テクノロジーについて理解している人間なら誰でも、この研究に問題がないということは分かるはずです。アマゾンは、彼女たちの研究が間違っているのだという文脈をでっち上げようとしたのです」。

IBMの動きによりアマゾンは政治的危機に陥りました。

ムタレ・ンコンデ

実際のところ、アマゾンは公けにはこの研究を認めなかったものの、裏では問題解決のための研究に投資を始めていた。研究が示した懸念に直接応える形で、公平性に関する研究担当者を採用し、問題緩和のために米国立科学財団（NSF）の研究助成金に出資し、数カ月後にレコグニションの新バージョンを公開したとラジは語る。それと同時にアマゾンは、顔認識テクノロジーの販売を中止し、独立した人権評価をするよう求める株主側からの動きを封じ込めていた。また、米国議会では規制を避けるため、数百万ドルを投じてロビー活動を展開した。

だが、その後すべてが一変した。2020年5月25日、警察官のデレク・ショービンがジョージ・フロイドを殺害したことで、制度的な人種差別と警察の暴力の撤廃を求めて、米国で歴史的なムーブメントが沸き上がった。これを受けて上下院の民主党議員は、司法当局による顔認識テクノロジーの使用の制限を含む警察改革法案を提出した。これは顔認識テクノロジーに対する連邦政府レベルでの規制の動きとしては史上最大規模のものである。顔認識システムの使用停止を発表したIBMは連邦議会黒人幹部会に対して公開状を送り、「国内の司法当局によって顔認識テクノロジーはどのように扱われるべきなのか、そもそも利用されるべきなのかということを国全体で議論する」よう求めた。

「立法府が警察改革法案を考慮している中で、IBMがこの公開状を送ったことが状況を大きく動かしたと思います」。ハーバード大学バークマン・クライン・センターのAI政策顧問兼客員研究員であるムタレ・ンコンデは話す。「IBMは顔認識の分野では大きな存在ではありませんでしたが、彼らの動きによりアマゾンは政治的危機に陥りました」。その動きは顔認識テクノロジーと現在進行中の国民的議論を明確に結びつけ、規制当局が無視できない状況が生まれたのだ。

慎重な楽観論

活動家や研究者らはアマゾンの譲歩を大きな勝利だと捉えている一方で、戦いが終わっていないことも理解している。アマゾンが発表した102語の声明には、今回の一時停止措置が警察以外の司法当局、たとえば米国移民・関税執行局（ICE）や米国国土安全保障省（DHS）などにも適用されるのかについては詳細が記されておらず曖昧になっている（この件に関してアマゾンにコメントを求めたが、回答は得られていない）。さらに、一時停止措置が1年間に設定されているのも危険信号だ。

「アマゾンは今回の抗議活動が収まって元通りになり、国民的な議論が別の対象へと移るまで待つつもりではないかというシニカルな考え方もできます」。ACLUのクロックフォードは指摘する。「最近の一連の声明によってこうした企業が好意的な評価を受けながら、裏では議会で規制強化を求める私たちの取り組みを妨害する、ということが起こらないように厳しく監視していくつもりです」。

だからこそ、活動家や研究者たちは規制をすることが前に進むために重要な役割を果たすと考えている。「今回の教訓は、企業が自らを律するべきだということではありません」とウィテカー所長は言う。「私たちはさらに圧力をかけ、1年間に留まらない規制を求めていくべきだというのが教訓なのです」。

アマゾンは今回の抗議活動が収まって元通りになり、国民的な議論が別の対象へと移るまで待つつもりではないかというシニカルな考え方もできます。

ケイド・クロックフォード

評論家らは、ボディ・カメラによる顔認識テクノロジーのリアルタイムでの利用のみを禁じる現在の警察改革法案の規定は、大手テック企業の責任を確実に追求するという点では適用範囲が狭いと指摘する。だが、ンコンデは楽観的だ。彼女は今回の勧告が今後の規制につながっていくと見ている。今回の法案が成立すれば、今後、別の用途や文脈での顔認識テクノロジーの利用を禁ずるための法案を作成するにあたって、重要な基準点となっていくのである。

連邦政府および地方レベルの両方で「議会では大きな動きが起こっています」とンコンデは言う。そしてフロイドの死によって人種差別的な警察の活動に注目が集まったことで、規制に対する幅広い支持がより高まっている。

「ジョージ・フロイドやブレオンナ・テイラーをはじめ、これまで全国であまりにも多くの黒人たちが警察によって殺されてきました。そして今、何十万人もの人々が全国で街頭デモをしています。本来であればこういった事態になる前に、黒人や褐色人種の人々が主導する組織や学術機関、ACLU、その他さまざまな団体が訴えてきたことが倫理的に正しかったことを各企業は理解すべきだったのです」。クロックフォードは話す。「しかし、今の状況を見てください。遅くなっても、何もやらないよりはましでしょう」。

 

• 49
• 7
• 5
• 10

人気の記事ランキング

1. The 8 worst technology failures of 2024 MITTRが選ぶ、 2024年に「やらかした」 テクノロジー8選
2. Promotion Innovators Under 35 Japan × CROSS U 無料イベント「U35イノベーターと考える研究者のキャリア戦略」のご案内
3. Bringing the lofty ideas of pure math down to earth 崇高な理念を現実へ、 物理学者が学び直して感じた 「数学」を学ぶ意義
4. The 8 worst technology failures of 2024 MITTRが選ぶ、 2024年に「やらかした」 テクノロジー8選
5. The next generation of neural networks could live in hardware 消費電力「数十万分の一」、ハード実装の次世代ニューラルネット

▼Promotion