ウポル・エーサンが以前、ウーバーの自動運転自動車に試乗した時のことだ。運転席に誰もいないことが不安な乗客は、自動運転自動車の視点を可視化した画面を見て「心を落ち着かせるように」と勧められた。画面には、車が危険と判断した道路上の物体がオレンジと赤で、安全ゾーンはクールなブルーで表示されていた。
アトランタにあるジョージア工科大学で人間と人工知能（AI）の対話について研究しているエーサンには、その画面の意図は明らかだった。「安心してください。画面表示を見れば車の運転操作の根拠がわかります」ということだ。しかし、画面に映し出された見慣れない道路の風景は、安心感を与えるよりもむしろ、自動運転車に乗車していることの奇妙さを際立たせるものだった。そこでエーサンは、自動運転自動車が運転操作について人間にわかるように正確に説明できたらどうだろうと考えた。
深層学習の成果は、研究者たちがニューラル・ネットワークにさまざまな調整を加えた結果として得られている。最高のニューラル・ネットワークは、よりよい結果を出すために微調整や改良がされており、実際的な成果に理論的な理解が追いついていない。結果として、訓練済みのモデルがどのように動作するのかについて詳しいことは分かっておらず、その仕組みは「ブラックボックス」と考えられるようになった。
囲碁のプレイや文章翻訳、それに一気見するネットフリックス番組のセレクトなどでは、モデルの詳しい仕組みを知らなくても問題ないことが多い。しかし、AIを使用して司法や医療診断、無人乗用車の意思決定を支援する場合は、AIが決定に至った過程を理解し、AIが間違っていたら、そのことを知る必要がある。
自動意思決定に対して反対したり、拒否したりする権限を人間が持つ必要があると語るのは、マサチューセッツ州ウィリアムズタウンにあるウィリアムズ大学のコンピューター科学者、アイリス・ハウリー助教授だ。この権限がなければ、人々はAIテクノロジーに反感を抱くだろう。「現在の顔認識システムに対する世の中の反応が良い例です」とハウリー助教授は言う。
AIのブラックボックスの中身を確認できるようにAIの説明能力の向上を目指す研究者はまだ多くないが、増えてきている。エーサンもその1人だ。解釈可能または説明可能なAI（XAI）と呼ばれるこの研究分野の目的は、ニューラル・ネットワークが実際にデータのどの特徴を学習しているのかを人々が理解できるようにすることだ。結果として、完成したモデルが偏りのない正確なものであるかどうかを判断できるようになる。
1つの解決策は、AIの意思決定過程を示す機械学習システムを構築することだ。こうしたシステムは、これまでのブラックボックス型AIに対して、グラスボックス型AIと呼ばれる。グラスボックス型AIのモデルは一般的に、非常にシンプルなニューラル・ネットワークであり、異なる一部のデータがモデルに与える影響を簡単に追跡できる。
「利害の大きい状況では、グラスボックス化された機械学習モデルを使用すべきだと主張する人たちがいます」と語るのは、マイクロソフト・リサーチのコンピューター科学者であるジェニファー・ウォートマン・ヴォーン主任研究員だ。「私はその意見にほぼ賛成です」とヴォーン主任研究員は言う。グラスボックス化されたシンプルな機械学習モデルでも、統計表などの特定のタイプの構造化データを使った複雑なニューラル・ネットワークを実行できる。アプリケーションによってはこれで十分だ。
しかし、十分かどうかはアプリケーションが扱う領域次第だ。画像やテキストなどの煩雑なデータを使って学習したい場合、深層の、したがって不透明なニューラル・ネットワークを使わざるを得ない。こうしたニューラル・ネットワークが持つ、非常に多くのまったく異なるデータ特性から意味のある関係を引き出す能力は、ニューラル・ネットワークの複雑さと密接な関係がある。
こういった場合でも、グラスボックス型機械学習が役立つことがある。1つの解決策は、訓練データを使った2段階学習だ。まず、デバッグ段階として不完全なグラスボックス型機械学習モデルを訓練し、修正の必要があるかもしれない潜在的なエラーを発見する。そして、データを …