2019年5月のブルームバーグ（Bloomberg）に、アルゴリズムのせいで投資の損失が生じ、訴訟に至ったケースの記事が掲載された。香港のある大富豪が、財産の一部を自動投資のプラットフォームに預託し、2000万ドルを超える損失を出した。しかし、テクノロジー自体を訴訟する法的な枠組みが存在しないため、その大富豪はテクノロジーに最も近い人間、つまりその製品を売った男を訴えたのだ。
これは自動投資による損失に関して知られるものとしては最初の訴訟だ。しかし、アルゴリズムの責任を問う訴訟は、これが初めてではない。 2018年3月、アリゾナ州テンピ市で、ウーバーの自動運転車が歩行者の死亡事故を起こした事件でも訴訟が発生している。 1年後、ウーバーはすべての刑事責任について無罪となったが、事故を起こした車に同乗していた人間のドライバー（セーフティ・ドライバー）は危険運転致死罪の判決を受けるかもしれない。
どちらのケースも、自動システムが社会のあらゆる側面に深く入り込み始めていることによって、私たちが現在直面している中心的な課題に関わっている。それは、アルゴリズムによって損害が出た場合の責任は誰に帰するべきかということだ。さらに、責任を実際に負うのはだれか、ということも重要だ。
非営利の研究機関であるデータ＆ソサエティの研究者で、文化人類学の教育を受けたマデレーン・クレア・エリッシュは、前者の問いの答えを求めるにあたり後者の研究を役立てるべく、過去の事例をここ数年研究してきた。現代の人工知能（AI）システムが生まれたのは最近のことだが、責任の所在に関わる問題は新しいことではない。
たとえば、ウーバーの自動運転車が起こした死亡事故は、エールフランス航空の447便の2009年の墜落事故に似ている。その墜落事故の責任をどう扱ったかを見ていけば、それが現在の事故に対してどう適用されるべきかの手がかりが得られるはずだ。ブラジルからフランスへと向かっていた旅客機が大西洋に墜落した悲劇的な墜落事故では、乗客乗員の228人全員が死亡した。この航空機の自動システムは、非常にまれなケース以外は人間のパイロットの手を必要とせず飛行でき、想定されるほぼ全てのシナリオに対して完全な「フールプルーフ」設計になっていた。その意味 …