研究室で完璧に近い性能を発揮できるように調整された機械学習モデルが、現実世界では良い結果を出せないことがしばしばあるというのはよく知られている。通常これは、人工知能（AI）を訓練およびテストする際のデータと、現実世界で遭遇するデータの間に不一致が起こることが要因となって起こる問題であり、「データシフト」と呼ばれている。例えば、高品質な医用画像から疾病の兆候を発見するよう訓練されたAIが、忙しい病院の安価なカメラで撮影された、ぼけや切れ目がある画像に対して能力をうまく発揮できないというのがその一例だ。
グーグルの7つのチームにまたがる約40人の研究者から成るグループは、機械学習モデルに共通する欠陥の別の主要因を発見した。これは「アンダースペシフィケーション（仕様不足）」と呼ばれ、データシフト以上に大きな問題となる可能性がある。今回の研究を主導したグーグルブレインのアレックス・ダムール博士は、「我々は、現在のアプローチで保証できる以上のことを、機械学習に求めているのです」と話す。
アンダースペシフィケーションは統計学においては既知の問題であり、観察された結果に多くの要因が考えられる状態を指す。因果推論を専門とするダムール博士は、自身の機械学習モデルが実践においてしばしば良い結果が出せない理由を知りたいと考えていた。ダムール博士は、ここでもアンダースペシフィケーションが理由ではないかと考え、まもなく多くの同僚がそれぞれのモデルにおいて同じ問題を抱えていることを知った。「実際のところ、あらゆるところで起こっている現象だったのです」とダムール博士は語る。
ダムール博士が始めた調査は雪だるま式に大きくなっていき、最終的に数十人のグーグルの研究者らが、画像認識から自然言語処理（NLP）、疾病予測まで、AIの幅広い応用に関する調査を実施するに至った。研究者らは、そのすべてにおいて低調なパフォーマンスの原因がアンダースペシフィケーションにあることを発見した。問題は機械学習モデルの訓練およびテスト方法にあり、修正するのは容易なことではないという。
この論文は「大きな衝撃です」と話すのは、アイロボット（iRobot）の機械学習エンジニアであるブランドン・ロレール博士だ（ロレール博士は過去にフェイスブックおよびマイクロソフトにも勤務した経験を持ち、今回の研究には関与していない）。
同じだが異なるもの
何が起こっているのか正確に理解するためには、少し話を戻して考える必要がある。大まかに言えば、機械学習モデルの構築では、大量の例を基に訓練を実施した後、その機械学習モデルが出会っていない大量の類似例でテストをする必要がある。モデルがそのテストに合格すれば、そこで完成となる。
今回ダムール博士らが指摘したのは、テスト合格のハードルが低すぎるという点だ。ある訓練プロセスによって多くの異なるモデルが生み出され、そのすべてがテストに合 …