昨年、ニュージャージー州マンモスカントリー市の閑静な通りに奇妙な自動運転車が現れた。半導体チップメーカー、エヌビディア（NVIDIA）の研究者が開発した実験車両は、他の自律自動車と外見は同じだが、グーグルやテスラ、ゼネラルモーターズがデモで見せた車とは別の形で、人工知能の興隆を示していた。エンジニアやプログラマーからの指示は一切受けず、自動車は人間の運転を観察して自分で覚えたアルゴリズムだけで運転したのだ。
https://www.youtube.com/watch?v=fmVWLr0X1Sk
自動車が自分で運転方法を学んで運転できるようになったのは、称賛されて当然の業績だ。ただし、どうにも腑に落ちないところがあるとすれば、自動運転車がどう運転時に判断しているのか完全にはわからないことだ。自動車のセンサーが検知した情報が人工ニューロンの巨大ネットワークに送られ、データが処理され、ハンドルやブレーキ等、システムを操作するのに必要な命令が車に伝えられる。その結果、人間が運転しているかのように動作する。しかしある日、もし木に衝突したり、青信号なのに停車したりするなど、予期できない事態を自動車が引き起こしたらどうなるだろうか。現時点で、事故の理由はまず解明できない。自動運転システムは非常に複雑であり、何かひとつの動作の原因を突き止めるのは、開発したエンジニアでさえ苦労するはずだ。自動車に突き止めろと聞いても無駄だ。そもそも、ある動作の理由を常に説明できるような自動運転車を設計する方法がないのだ。
自動運転車の不可解さを知ると、人工知能（AI）の問題点が浮き彫りになってくる。自動運転車に使われているAIテクノロジー「深層学習」は近年、問題解決の非常に強力な手法だと判明し、画像の説明文を自動化、音声認識、言語翻訳等の分野で幅広く使われている。現在、深層学習は、命に関わる病気の診断、数億円単位の売買取引の意思決定等、数多くの業務で使われており、産業界全体を変えると期待されている。
しかし深層学習が社会にうまく浸透するには、深層学習等の機械学習テクノロジーが、まず製品開発者に理解できるようになり、ユーザーの問い合わせに答えられるようにならなければ実現しないし、実現すべきでもない。いつ事故が起きるか予想できないし、誤動作の発生も必然だ。このせいもあって、NVIDIA製自動車は実験車両でしかないのだ。
数学に基づくモデルはすでに米国で、誰を仮釈放するか、誰のローンを承認するか、誰をある仕事に採用すべきかの判断に使われている。数学モデルの中味がわかれば、どんな条件に基づいて判断されているのか理解できる。しかも現在、銀行や軍隊、雇用者は、さらに複雑な機械学習の手法に注目しており、利用範囲の拡大により、自動意思決定のメカニズムは今以上に不可解になる可能性がある。機械学習の手法のうち最もよく使われる深層学習は、プログラムによって動作を定義するコンピューターとは、考え方が根本的に異なる。機械学習の応用を研究しているマサチューセッツ工科大学（MIT）のトミー・ヤコラ教授は「（人間にはAIがなぜそう判断したのか理解できない問題）は既に大問題であり、しかも今後さらにずっと大きな問題になるでしょう。投資や医学の判断、ひょっとすると軍事上の判断で中味のわからない『ブラックボックス』な手法だけには頼りたくありません」という。
すでに、AIシステムがなぜそう判断したのかの説明を受けることは、基本的な法的権利ではないかとの議論がある。2018年夏から、欧州連合（EU）は企業に、ユーザーに自動化システムがどのように意思決定したかを説明する義務を負わせる可能性がある。とはいえ、深層学習で広告をユーザー別に表示したり、次に聞くべき歌を推薦したりしているアプリやWebサイトなど、表面的には比較的簡単そうなシステムでも、説明は不可能かもしれない。この種のサービスを実現するコンピューターは、機械学習により、コンピューター自身がプログラムを作るのと同様に動作しており、コンピューターがどのように自身のプログラムを調整したのか人類には理解できない。アプリを開発したエンジニアでさえ、アプリの動作を完全には説明きないのだ。
AIの動作を誰も説明できない事実を知ると、とんでもない疑問が沸いてこざるを得ない。AIのテクノロジーは進歩しており、今すぐにも、失敗の可能性があるとわかりながら、保証のないまま、ある一線を越えてAIを使い続けざるを得なくなる可能性がある。もちろん、人間も自分の思考過程を常に偽りなく説明できるとは限らないが、本能的に人を信じており、人間同士なのだから、あとで失敗（成功）にいたった過程を評価する方法を見つけられる。だが、人間とは別の方法で考え、判断する機械に、この方法は適用できるのだろうか。人類はいままで、作った本人が理解できない方法で動作する機械を作ったことはない。知能のある機械がどう判断するのか予測もできず、理解もできない判断をする可能性があるとき、どうすれば知能のある機械と意思疎通し、共存できるだろうか。この疑問が著者の頭の中に浮かび、実用化されているテクノロジーだけではなく、試験段階のAIアルゴリズムまで調べることにした。グーグルからアップルまで、さまざまな開発段階にあるAIを調査し、現代のもっとも偉大な哲学者とも対話することにした。
えたいの知れない高度な知性
2015年、ニューヨークのマウント・シナイ病院の研究グループは、患者の記録を収めた巨大データベースの分析に深層学習を適用するアイデアに取り付かれていた。データセットの特徴は、患者の試験結果、医師の訪問など、数百の変数を設定できることだ。研究グループは完成した分析プログラムを「ディープ・ペイシャント」と名付け、70万人のデータで症例を訓練した。訓練後、新しい記録を分析させると、驚くほど高い精度で、病気を予測できた。ディープ・ペイシャントは、専門家に指導されることなく、肝臓がんなどさまざま病気について、発症途中にあることを示す隠れたパターンを病院のデータから発見したのだ。マウント・シナイ病院の研究チームを率いるジョエル・ダッドリー准教授（次世代ヘルスケア研究所所長）は「病気の予測について『かなりよい』結果を出す方法はたくさんあります。しかし、ディープ・ペイシャントは『とにかく、ずば抜けている』のです」という。
ディープ・ペイシャントはずば抜けているが、不可解な部分もある。統合失調症など、精神疾患の発症の予測は驚くほど精度が高いが、医師にとって統合失調症は予測が難しいことで有名であり、一体どうすれば予測できるのか、とダッドリー准教授は思った。しかし、ダッドリー准教授はまだ答えがわからない。ディープ・ペイシャントは、どう予測しているかを示す手がかりをまったく与えてくれないのだ。もしディープ・ペイシャントのようなプログラムが実際に医師を支援するなら、予測の論理的根拠を示し、医師に根拠が正確だと安心させ、たとえば患者に現在処方されている薬を変更するのが正しいと示せるのが理想的だ。だがダッドリー准教授は悲しそうに「私たちは、病気を予測するモデルを作れます。しかし、モデルがどう動作するのかはわからないのです」という。
AIが常に理解不能だったわけではない。当初から、AIの動作はどの程度理解できるべきか、あるいは説明できるべきかについて、ふたつの考え方があった。多くの研究者はルールと論理によって判断する機械を作り、プログラムを調べれば、誰でもどう動作するのか明白 …