ジェフリー・ヒントンがグーグルを退社するという電撃発表をした5月1日の4日前、私はロンドン北部の美しい通りにあるヒントンの自宅で彼に会った。ヒントンは、「バックプロパゲーション（逆伝播）」と呼ばれる現代の人工知能（AI）の中核をなす非常に重要な技法の開発に貢献した深層学習のパイオニアだ。しかし、グーグルに10年間在籍したヒントンは、AIについて現在彼が抱いている新たな懸念に焦点を当てるべく同社を退社すると言う。
新しい「GPT-4」のような大規模言語モデルの性能に驚愕したヒントンは、現在では自身が最初に開発したこのテクノロジーは深刻なリスクを含んでいる可能性があると考えており、そのことについて世間の認識を高めたいと考えている。
会話が始まり、私がキッチンテーブルの席に座ると、ヒントンは落ち着きなく歩き始めた。長年、慢性的な腰痛に悩まされてきた彼は、ほとんど座ることがない。それから1時間、私は彼が部屋の端から端まで歩くのを眺め、彼が話す度に頭をくるりと彼の方に向けた。ヒントンは多くのことを語ってくれた。
75歳のコンピューター科学者であり、深層学習の研究で2018年のチューリング賞をヤン・ルカン、ヨシュア・ベンジオと共同受賞したヒントンは、自身の方針を変える準備ができたのだと言う。「細かいことをたくさん覚えなければならない技術的な仕事をするには、私はもう年です。まだ大丈夫ですが、昔のようにはいきませんからイライラしますよ」。
しかし、ヒントンがグーグルを去る理由はそれだけではない。ヒントンは、「もっと哲学的な仕事」に自身の時間を費やしたいと考えている。それは、AIが大惨事につながるという、小さくはあるが彼にとっては非常に現実的な危機に焦点を当てることだ。
グーグルを退社すれば、グーグルの幹部に課せられた自己検閲をすることなく、自身の考えを話せるようになる。「グーグルのビジネスとの関わりを気に病むことなく、AIの安全性の問題について語りたいと考えています」とヒントンは言う。「グーグルから給与をもらっていては、そんなことはできませんからね」。
だが、ヒントンはグーグルに不満を持っているわけでは決してない。「びっくりするかもしれませんね」とヒントンはいう。「話したいグーグルの良いところはたくさんあります。私がグーグルに籍を置いていない方が、そのような話はよっぽど真実味があるでしょう」。
ヒントンは、新世代の大規模言語モデル、特にオープンAI（OpenAI）が2023年3月に公開した「GPT-4」によって、機械は予測していたよりもずっと賢くなる方向に進んでいると実感したと語る。そして、そのことが引き起こすかもしれない結果に恐怖を感じているのだ。
「大規模言語モデルは私たちとはまったく異なります」とヒントンは言う。「まるで宇宙人が降り立ったかのようだと思うことがあります。とても上手に英語を話すので、人々は気づいていませんが」。
基礎的な知識
ヒントンは、1980年代に（2人の同僚と）提案した「バックプロパゲーション（逆伝播）」という手法の研究で最もよく知られている。一言で言えば、機械に学習させるためのアルゴリズムのことだ。コンピュータービジョン・システムから大規模言語モデルまで、今日ほとんどすべてのニューラル・ネットワークの基礎となっている手法である。
バックプロパゲーションで訓練したニューラル・ネットワークが本格的に普及するのは、2010年代に入ってからだった。ヒントンは数人の大学院生と協力して、自身の手法が、コンピューターに画像中の物体を識別させるのに他のどの手法よりも優れていることを示した。ヒントンらはまた、文中の次の文字を予測するようにニューラル・ネットワークを訓練し、今日の大規模言語モデルの先駆けとなった。
そのときの大学院生の1人が、オープンAIの共同創業者であり、「チャットGPT（ChatGPT）」の開発を主導したイリヤ・サツケバーだ。「これはすごいものになるかもしれないという予感がありました」とヒントンは語る。「しかし、良いものにするためには巨大なスケールで実行する必要があるということを理解するのに長い時間がかかりました」。1980年代、ニューラル・ネットワークは冗談のような存在だった。当時主流だったのは、知能は言葉や数字などの記号の処理を必要とするという、シンボリックAIとして知られる考え方であった。
しかし、ヒントンは納得がいかなかった。ヒントンは、神経細胞や神経細胞間のつながりをコードで表現し、脳をソフトウェアによって抽象化したニューラル・ネットワークの研究に取り組んでいた。神経細胞のつながり方を変えることで、つまり神経細胞を表すのに使われる数字を変えることで、ニューラル・ネットワークは臨機応変に作り変えることができる。つまり、学習させられる。
「父が生物学者だったので、私は生物学的な考え方をしていました」とヒントンは言う。「記号的推論は明らかに生物学的知能の中核ではありません」。
「カラスはパズルを解くことができますが、言語は使いません。カラスは記号の列を記憶して操作することでパズルを解くわけではないのです。脳の神経細胞間のつながりの強さを変えることで、知能を実現しています。ですから、人工ニューラル・ネットワークのつながりの強さを変えることで、複雑なことを学習できるようになるはずなのです」。
新しい知能
ヒントンは40年間、人工ニューラル・ネットワークについて、生物学の仕組みを模倣してはいるが本物には及ばないと考えてきた。彼は今ではそのようには捉えていない。生物学的な脳の働きを模倣しようとすることで、より優れたものが生み出されたという考えだ。「目の当たりにすると恐ろしいです」とヒントンは語る。「突然ひっくり返ったのですから」。
ヒントンが感じている恐怖は、多くの人にサイエンス・フィクションで感じる恐怖のような印象を与えるだろう。しかし、彼の場合はこうだ。
大規模言語モデルは、その名が示す通り、膨大な数のつながりを持つ大規模なニューラル・ネットワークで作られている。しかし、脳に比べればそれらは微々たるものだ。「私たちの脳には100兆個のつながりがあります」とヒントン …