米国の諜報機関や軍事作戦の要員は、膨大な量のデータの解析や保有する自律システム数の増加に対応するため、機械学習に大きく頼ることになるかもしれない。だが米軍は、盲目的にアルゴリズムを信頼したくはない。
米国国防先端研究計画局（DARPA、米国国防総省の下位組織で、最新テクノロジーの用途の研究開発機関）は、判断した理由を自身で説明できる人工知能を目指して、複数のプロジェクトに投資している。目的の達成手段はさまざまで、説明を提供するように調整された機械学習システムの追加や、自らを説明する機能を意図的に組み込んだ新たな機械学習手法もある。
DARPAでAIテクノロジー （結果の根拠を部分的に説明するテクノロジーなど）を開発する研究に投資しているデビッド・ガニング・プログラム・マネージャーは「DARPAでAIの研究開発が急増している主な原因は、機械学習、特に深層学習のせいです」という。
深層学習などの機械学習の手法は、シリコンバレーを席巻し、音声認識や画像分類の性能が大幅に向上した。また、機械学習の手法はこれまで以上にさまざまな状況で利用されており、警察や裁判所、医療分野等、誤りが重大な結果を招きかねない分野にまで広がっている。しかし、深層学習はデータのパターンを発見することには非常に優れているが、結論にどう達したのか人間には理解できない。学習過程には非常に複雑な数学が使われており、学習過程を人間が理解できる形に翻訳する方法は多くの場合存在しない。
しかも、深層学習の学習過程の解明は特に難しいとはいえ、他の機械学習手法が簡単かというと、同様に難しいのだ。「機械学習のモデルは不可解で、AIの専門家でない限り、一般の人がモデルを解明するのは困難です」とガニング・プログラム・マネージャーはいう。
深層学習は非常に複雑な仕組みであり、特に不可解な手法だ。深層学習は、脳内のニューロンが刺激に反応して学習する過程から大まかな発想を得ており、ニューロンやシナプスを模した多数の層で個々のデータを分類する。たとえば、写真の中の猫を認識できるまで人工ニューラルネットワークの挙動を調整するのだ。しかし、システムが学習したモデルは数百万ものニューロン同士の結合の強さとして埋め込まれるため、学習済みの深層学習の分析は非常に難しい。たとえば、深層学習ネットワークが猫を認識するとき、このネットワークが注目しているのが画像の中の猫のヒゲなのか、耳なのか、それとも猫の毛なのかはよくわからない。
多くの場合、機械学習モデルの中味がわからなくても問題にはならない。しかし、潜在的な脅威を特定しようとしている情報機関にとっては、なぜある人物を監視対象にするべきか、あるいは始末すべきかの理由のほうが重要になることがある。「説明が必要になる重大な応用分野がいくつかあります」とガニング・プログラム・マネージャーはいう。
また、軍が開発している無数の自律システムは、深層学習など、機械学習の手法に大きく依存するのは間違いない、とガニング・プログラム・マネージャーは話を進めた。飛行ドローン以外にも、自律運転型の車両や船舶は今後数年でますます活用され、性能はますますに高まっていく。
説明可能能力はシステムによる決定を正当化するのに重要なだけでなく、物事が間違った方向に進むのを防ぐためにも役立つ。猫を分類するために、単に画像の模様だけに注目する方法で学習した画像分類システムは、毛皮の絨毯に騙される可能性がある。システムが判断を説明できれば、研究者はシステムの動作をより安定化できるし、システムのユーザーは間違いを犯さずに済むのだ。
そこでDARPAは、AIの説明能力を向上させる幅広い手法を追求する、13の異なる研究グループに投資している。
チャールズ・リバー・アナリティクス（米軍などさまざまな顧客向けにハイテクツールを開発している企業）はDARPAの投資先に選ばれたチームのひとつだ。説明能力を備えた新たな深層学習システム（分類に最も関係していると考えられる画像の範囲を強調するシステム等）を研究しており、チャールズ・リバーの研究チームはデータを示したり、視覚化したり、自然言語で説明したりして、機械学習システムの仕組みをより明確にするコンピューター・インターフェイスも実験中だ。
DARPAの投資先に選ばれた別の研究チームを率いるテキサスA＆M大学のシー・フー教授によれば、AIに説明能力を追加する課題は、機械学習を採用している軍事以外の分野（医療や法制度、教育等）でも重要だという。シー・フー教授は、何らかの説明や根拠がなければ「それぞれの分野の専門家が機械学習や深層学習の採用を拒むのは、システムが出した結論を説明できないのが大きな理由です」という。