アルゴリズムが倫理的判断を下す目的で利用されるのが増えてきている。おそらくその一番良い例は、あるハイテク企業の倫理的ジレンマへの取り組みだろう。この問題は「トロッコ問題（Aを助けるためにBを犠牲してもよいのかという倫理学の思考実験）」として知られている。たとえば、自律運転車が2人の歩行者のどちらかを死亡させることが避けられない状況に陥った場合、その車の制御ソフトウェアはどちらの人間を生かし、どちらを死亡させると判断すべきか？
実際には、このような難問が現実世界で自律運転車に降りかかることはあまりないだろう。しかし、すでに世に出回っている、あるいは間も無く出回るであろう他の多くのシステムは、今後あらゆる類の倫理的トレードオフを考慮せざるを得なくなる。刑事裁判で用いられている評価ツールは、社会へのリスクと被告個人に及ぶ危害とを比較検討する必要があるし、自律兵器は兵士の命と一般市民の命とを天秤にかける必要がある。
問題は、アルゴリズムはその様な非常に難しい選択を扱うようには設計されていないことだ。アルゴリズムは一つの数学的目標を達成するために作られており、たとえば、救うことのできる兵士数の最大化や一般市民の死傷者数の最小化などを目標とする。したがって、複数の、しかも利害の対立するような対象を扱おうとしたり、「自由」とか「福祉」といった実体のないものを説明しようとすると、満足のいく数学的解決法が常に見つかるとは限らない。
人工知能（AI）の利用を研究する非営利団体「パートナーシップ・オンAI（Partnership on AI）」で研究部長を務めるピーター・エッカースリー博士は、「人間は複数の相容れないものを手に入れようとします」という。エッカースリー博士は最近、この問題を考察する論文を発表した。「いちかばちかの状況はたくさんあります。そうした状況においては、単一の客観的機能の中で倫理観を反映するようにプログラムすることは現実的に不適切であり、危険ですらあるのです」。
こうした解決法のないジレンマは、アルゴリズムに限った話ではない。倫理研究家 …