アップルのAI研究を率いるルスラン・サラクトゥディノフ所長は、近年目覚ましい結果を出した多層ニューラル・ネットワークは、今後数年でさらに記憶や注意、そして一般常識の能力を伸ばすと信じている。
3月28日、MIT Technology Reviewがサンフランシスコで開催したEmTech Digitalカンファレンスで講演したサラクトゥディノフ所長は、今後進展する人工知能の能力は、AI分野の未解決問題のいくつかを解決する助けになるだろう、と述べた。
カーネギーメロン大学（ピッツバーグ）の準教授を兼務するサラクトゥディノフ所長は、講演で、深層学習に基づくマシン・ビジョンと自然言語理解の限界について話した。
深層学習（大ざっぱに言えば、脳を模して、膨大な数のニューロンを相互接続し、無数の層状に配列化した技術）は、機械による知覚分野で、過去数年、劇的な進歩を遂げてきた。だが、多くの点で入ラル・ネットワークには限界がある。
たとえばサラクトゥディノフ所長は、深層学習に基いて画像にキャプションを付けるシステムは、画像にあるもの全てに重点を置く傾向のせいで、どのように間違ったラベル付けをしてしまうかを説明した。さらにサラクトゥディノフ所長は、いわゆる「注意メカニズム」の形の解決法を提示した。「注意メカニズム」とは過去数年間で開発された深層学習を微調整する手法だ。注意メカニズムはキャプションに異なる言葉を当てはめる時、システムが画像の特定の部分に重点を置くことで、上記のような間違いを改善できる。同様の手法は、機械が文章の意味を推測する時に文の関連性が強い部分に焦点を当てることで、自然言語理解の改善にもつながる。
フェイスブックの研究者が開発した手法「メモリー・ネットワーク」は、機械が人間と会話をする方法を改善できる。名前どおり、この手法は会話の履歴を記憶するように、ニューラル・ネットワークに長期記憶の要素を加える。
メモリー・ネットワークは他のAIも改善することが証明されており、「強化学習」として知られている。たとえば、カーネギーメロン大学（CMU）の2人の研究者は最近、メモリー・ネットワークがどのようにより賢いゲームプレー アルゴリズムを作り出せるかを証明した。アルファベット（グーグル）のAI系子会社ディープマインドの研究者も、深層学習システムが構築した記憶を利用する方法を論証した。
強化学習は、ロボット工学と自動運転分野で、プログラムを書きにくい問題を解決する、優れた方法として急速に台頭している。強化学習はMIT Technology Reviewは2017年版のブレークスルー・テクノロジー10のひとつとして選出した。
サラクトゥディノフ所長は「フリーベース」のような一般知識データベースや「ワードネット」のような言葉の意味の貯蔵庫を例に、今後のAI研究で楽しみな分野として、雑多な知識と深層学習を組み合わせる方法の探求がある、という。
人間は、言語の構文解析や視覚情報の解釈に、一般知識にとても頼っており、一般知識データベースがあれば、AIシステムはもっと賢くなるだろう、とサラクトゥディノフ所長はいう。「既存の知識全部をどのように深層学習と合体できるでしょうか？ それが大きな課題です」
サラクトゥディノフ所長は、複数のAI学校の研究者を集めたセッションでも講演した。どの講演者も、AIを次のレベルに高めるには、さまざまな手法が必要だ、と共通して述べた。
さまざまな機械学習の手法を研究するワシントン大学のペドロ・ドミンゴスは教授は、AI分野には、完全に新しい手法の探求も必要だという。「機械学習には派手な新アルゴリズムなどは不要で、必要なのはさらに多くのデータだという学派があります。AIを本当の意味で解決するためには、発見しなくてはならない本当に深い、根本的なアイデアがあると考えています」