デイビッド・デュベノー博士が人工知能（AI）技術の大きな欠点に気付いたのは、医療データに関するプロジェクトに取り組んでいたときだった。
トロント大学のAI研究者であるデュベノー博士は、時間とともに変化する患者の健康状態を予測する深層学習モデルの構築を目指していた。だが医療記録のデータは、いわば乱雑なデータだ。人々は一生を通じて、さまざまな時期にさまざまな理由で病院へ行き、わずかな測定データを不規則な間隔で生み出す。従来のニューラル・ネットワークは、こうしたデータをなかなかうまく処理できない。明確な観察段階を踏んだデータから学習するように設計されているからだ。つまり、従来のニューラル・ネットワークは、連続過程をモデル化するツールとしては不十分ということである。不規則な間隔で測定される経時データについては特にそうだ。
この課題に直面したデュベノー博士と、トロント大学およびベクター研究所の共同研究者らは、ニューラル・ネットワークを設計し直すことにした。デュベノー博士らが発表した論文は、世界最大規模のAI関連学会である「神経情報処理システム（NIPS）学会」で、他の4チームの論文とともに最優秀論文賞を受賞した。
ニューラル・ネットは、深層学習を強力なものにする中核機構だ。従来のニューラル・ネットは、複数の単純な計算ノードから成る層が積み重なった多層構造をしており、各層が連携して機能することによりデータ内のパターンを見い出す。分離した層に分かれていることが、連続過程を効率的にモデル化することを困難にしている（この点については、後ほどより詳しく説明する）。
この課題に対処するため、デュベノー博士の設計では、多層構造を完全に排除している（デュベノー博士は、このアイデアを最初に思い付いたのが自身のチームではないことをすぐに認めており、一般化が可能な方法でアイデアを最初に実装しただけだとしている）。多層構造を持たないニューラル・ネットがどうして可能になるかを理解するため、多層ニューラル・ネットワークのそもそもの仕組みについて簡単に説明しておこう。
ニューラル・ネットワークの訓練に用いられているもっとも一般的な手法として知られる教師あり学習では、ラベル付けされた大量のデータをニューラル・ネットに与える。たとえば、さまざまな動物を識別するシステムを構築するのであれば、動物の名前と、それに対応する画像のペアを、ニューラル・ネットに与える。するとニューラル・ネットは、奇妙な数学的パズルを解き始め、画像と名前のすべてのペアから、一方（画像）を他方（名前）に正確に変換するための方式を定式化する。いったん定式化ができれば、同じ方法を繰り返し再利用し、動物の新たな画像をほとんどの場合、正確に分類できるようになる。
だが、画像を名前へ変換する全行程をたった1つの方式で定式化しようとすると、適用範囲があまりにも広いため、生成されるモデルの精度が低くなってしまう。それは、ルールを1つだけ用いて、猫と犬を識別し …