人工知能バブル
3度目の冬はやってくるのか

2017年の秋にオープンするベクター研究所（Vector Institute）は、ほどなくして世界の中心となる場所だ。カナダ・トロントのダウンタウンにあるピカピカのビルの7階の非常に大きな部屋に居を構える同研究所は、人工知能（AI）の世界的な中心になることを目標としている。

この記事はマガジン「AI Issue」に収録されています。 マガジンの紹介

トロントには、現在のAIの興隆の元となった技術「深層学習」の生みの親であるジェフリー・ヒントンが住んでいる。「30年経って現在を思い返せば、ジェフは単にAIと呼ばれている『深層学習』のアインシュタインだったと呼ばれるでしょう」と語るのは、ベクター研究所の共同設立者の一人に名を連ねるジョーダン・ジェイコブズだ。ヒントンはAI分野のトップクラスの研究者で、論文引用件数がトップであるヒントンの論文が引用される数は、2位から4位までの研究者の論文が引用される数を合計したものよりも多い。ヒントンの学生や博士号を取得した研究者たちはアップルやフェイスブック、オープンAI（OpenAI）などのAI研究所を運営している。ヒントン自身はグーグル・ブレインのAIチームの主席科学者である。実際のところ、翻訳、音声認識、画像認識、ゲームのプレイなど、AI分野で最近10年間に達成された成果のほとんどは、ヒントンの研究とどこかでつながっている。

ヒントンの業績の賜物といえるベクター研究所は、グーグルやウーバー（Uber）、エヌビディア（Nvidia）など、米国およびカナダの企業がAI技術を商業化するために出資してできた研究センターだ。資金はジェイコブズが思っていたよりもずっと早く集まった。同センターの共同設立者のうち二人がトロント地域の会社を調査したところ、AIの専門家に対する需要はカナダで毎年生まれるAI専門家の数の10倍に達した。ベクター研究所は、深層学習をめぐる現在の世界的な試みである、AI技術を教えて、洗練して、応用して利益を得ようとする動きの中心地と言える。トロントにはデータセンターがいくつも建設され、ビジネスタワーはスタートアップ企業で溢れ、学生たちは誰もがAI分野を専攻している。

ベクター研究所のフロアに立ってみると、ガランとして音がよく響くが、もうすぐオフィス機器が運び込まれる予定であり、何かが動き始める現場に立ち会っている印象を受ける。ただし、深層学習において不思議なのは、根幹となる考えの歴史が長いことだ。ヒントンが同僚のデビッド・ラメルハートとロナルド・ウィリアムズと共に書いた大発見の論文が発表されたのは1986年である。この論文はバックプロパゲーション（逆伝播）と呼ばれる手法について詳しく述べたものだ。バックプロパゲーションは、プリンストン大学の計量心理学者ジョン・コーエン教授の言葉によれば、「深層学習において文字通りすべての基礎になっているもの」である。

つまるところ、今日のAIとは深層学習のことであり、深層学習とはバックプロパゲーションのことである。これはバックプロパゲーションに30年以上の歴史があることを考えると驚くべきことだ。なぜこのようなことが起こったのか、つまり、ある技術が長い間出番待ちの状態で眠っていて、突然これほど爆発的に必要とされるようになったのかは、知っておく価値がある。なぜなら、バックプロパゲーションの歴史を知れば、AIが現在どんな時期にあるか、特にAIの革命的発展が始まった時点ではなく、おそらくその終わりの時期であることが理解できるようになるだろうからだ。

立証

ヒントンは現在、トロント大学の名誉教授であり、グーグルにあるヒントンのオフィスでほとんどの時間を過ごしている。ベクター研究所からヒントンのオフィスまで歩く道すがらは、少なくとも夏の間は、トロントの看板的存在になっている。なぜ英国出身のヒントンがピッツバーグのカーネギー・メロン大学（CMU）勤務の後、1980年代にここに引っ越したかが分かるだろう。

たとえ金融街近くのダウンタウンであっても、一歩外に出るとまるで自然の中に足を踏み入れたような気分になるのだ。たぶん空気に含まれる湿った土の匂いのせいだろう。トロントは森林に覆われた渓谷の上にできた町で、「公園の中の都市」と言われている。トロントの都市化が進むにつれ、自治体は林冠（森林の上層部）を保護するために厳しい規制を課した。飛行機でトロントに近づくと、町の外側がアニメと見まがうほど青々とした木々で覆われているのだ。

トロントはメキシコシティー、ニューヨーク、ロサンジェルスに次ぐ北米第4位の大都市だが、人種的に最も多様である。人口の半分以上がカナダ以外で生まれた人間なのだから。これは町を歩いても感じられる。ハイテク街の人々も、多くの若い白人男性がフード付きスウェットシャツを着ているようなサンフランシスコ的ではなく、もっと国際的だ。医療は無料で公立学校もよく、人々は親切で、政治的には比較的左寄りで安定している。こうしたことが、イラン・コントラ事件に嫌気がさして米国を去ったと言うヒントンなどの人々を引き付けている。昼食時間の少し前にヒントンに会いに行くと、最初にいつもイラン・コントラ事件の話になる。

イラン・コントラ事件は、レーガン政権がイランへの武器売却で得た資金でニカラグアの反共ゲリラ「コントラ」を支援していたことが明るみに出た事件だ。「カーネギー・メロン大学のほとんどの人々は、米国がニカラグアを侵略するのはまったく当然だと考えていました」とヒントンは言う。「どういうわけか、みんなニカラグアは米国のものだと思っているようでした」。ヒントンは、最近プロジェクトが大きく進歩したと語る。「非常に優秀な若い技術者がいて、一緒に働いているのです」。彼女の名前はセーラ・セイバー。セイバーはイラン人であり、米国で働くビザを発行してもらえなかったので、グーグルのトロント・オフィスが雇ったのだ。

69歳になるヒントンは、ディズニー映画の「BFG：ビッグ・フレンドリー・ジャイアント」のような柔和で痩せた英国風の顔をしている。唇は薄く、耳は大きく、鼻は誇り高い。英国ウィンブルドンの生まれで、子供向け科学本のナレーターのように話す。好奇心を掻き立て、人を引き付け、いろいろなことを熱心に説明してくれる。面白おかしく話すので、ときに少し芸人的でもある。話すときヒントンはずっと立ちっぱなしだ。後で分かったことだが、ヒントンには座っている方が苦痛なのだそうだ。ヒントンは「2005年6月には座りっぱなしでしたが、あれは間違いでした」は言う。何のことだろうと思っていたら、ヒントンはそれ以降、椎間板に疾患があるのだと説明してくれた。そのせいで飛行機に乗れない。歯医者では、サーフボードのような奇妙な装置を診療室に持ち込み、そこに寝ないとひびの入った歯根を診てもらえなかったそうだ。

1980年代、ヒントンは現在と同様に、ニューラルネットワークの専門家だった。ニューラルネットワークは、人間の脳のニューロン（神経細胞）とシナプス（接合部）で構成するネットワークを非常に簡単に模式化したものである。しかし、当時、ニューラルネットワークはAI研究において将来性のない分野だと固く信じられていた。1960年代に開発された最初期のニューラルネットワークであるパーセプトロン（Perceptron）は人間レベルの人工知能への最初のステップとして歓迎されたが、マサチューセッツ工科大学（MIT）のマービン・ミンスキーとセイモア・ペイパートによる1969年の本『パーセプトロン』は、ニューラルネットワークが最も基本的な機能しか実行できないことを数学的に証明した。当時のニューラルネットワークは入力層と出力層というたった2層のニューロンしかなかったからだ。入力ニューロンと出力ニューロンの間に多くの層を持たせれば、ニューラルネットワークは理論的には非常に多くの問題を解決できるはずだった。しかし、ネットワークを訓練する方法がわからなかったので、実際には全く役に立たなかった。ヒントンなど数人の例外を除いて、パーセプトロン（書籍）のせいで、ほとんどの研究者たちはニューラルネットワークを完全に諦めてしまった。

1986年にヒントンがもたらしたブレークスルーは、バックプロパゲーションを使えば3層以上の階層を持つ「深層ニューラルネットワーク」を訓練できることを証明したことだ。しかしこの発見の価値が世に広まるためには、コンピューターの処理能力が向上する必要があり、さらに26年が必要だった。ヒントンとトロント大学の学生二人による2012年の論文は、バックプロパゲーションで訓練をした深層ニューラルネットワークが、画像認識の最新鋭システムに勝つことを示した。これで「深層学習」の人気が出た。AI業界を知らない人には、AIが一晩で有名になったように見えるだろうが、ヒントンは長年待ちに待ってようやく報われたのだ。

現実歪曲空間

ニューラルネットワークは通常、サンドイッチのように、一つの層が別の層の上に重なった階層状態で描かれる。それぞれの層はわずかな処理能力しかない小さな計算ユニットである人工ニューロンの集まりで構成されている。実際のニューロンと同じように、人工ニューロンは一つ前の層の複数の人工ニューロンから自分自身を励起させる信号を受け取り、自分に接続されている次の層の人工ニューロンに対して相手を励起させる信号を送る。それぞれの人工ニューロンの励起状態はたとえば0.13とか32.39といった数値で表現される。二つの人工ニューロン間の接続部ごとに重要な数字がもう一つある。自分の励起状態をどれだけの強さで相手に伝えるかを決める数値だ。この数値は、脳内のニューロン間のシナプス（結合部）の強さをモデル化したものだ。数値が大きければ接続は強くなり、あるニューロンの励起状態が次のニューロンの励起に与える影響は強くなる。

深層ニューラルネットワークが最も成功した応用例の一つに画像認識がある。ケーブルテレビ局HBOの番組「シリコンバレー」で、研究チームが画像にホットドッグが写っているかどうかを認識できるプログラムを作った時のシーンを思い出してほしい。こうしたプログラムは今でこそ普通にあるが、10年前には構築は不可能だった。このプログラムを動作させるには、最初のステップとして画像を用意しなければならない。話を簡単にするため、縦も横も100ピクセルの小さ …

人気の記事ランキング

1. What is vibe coding, exactly? バイブコーディングとは何か？ AIに「委ねる」プログラミング新手法
2. A Google Gemini model now has a “dial” to adjust how much it reasons 推論モデルは「考えすぎ」、グーグルがGeminiに調整機能
3. Meet the researchers testing the “Armageddon” approach to asteroid defense 惑星防衛の最終戦略 科学者たちが探る 「核爆発」研究の舞台裏
4. Anthropic can now track the bizarre inner workings of a large language model 大規模言語モデルは内部で 何をやっているのか？ 覗いて分かった奇妙な回路

▼Promotion