GPT-3で号砲、大規模化に明け暮れた2021年のAIシーン

2021年は、超大型人工知能（AI）モデルの年だった。

オープンAI（OpenAI）が2020年6月にリリースしたGPT-3は、驚異的な言語把握力を持っていた。説得力のある文章を生成し、人間と会話し、自動補完コードを生成することさえ可能だった。GPT-3の驚異性はその規模にも見られ、これまでに作られたどのニューラル・ネットワークよりも巨大だった。GPT-3は「大きいことは良いことだ」というAIの新トレンドの火つけ役ともなった。

GPT-3には、訓練に使われたオンライン・テキストに内在するバイアスや悪意を模倣する傾向があり、その規模の大きさ故に訓練には持続不可能なほど膨大な計算機能力が必要だ。にもかかわらず、MITテクノロジーレビューはGPT-3を2020年のブレイクスルー・テクノロジーの1つに選んだ。良くも、悪くもだ。

しかし、GPT-3のインパクトは2021年になって、さらに明確になった。2021年は、数々のテクノロジー企業やトップクラスのAI研究機関によって構築された大規模AIモデルが急増し、その多くがGPT-3の規模と能力を超えていた。モデルはどこまで大きくなるのか、そしてそれに伴うコストはいくらになるのだろうか？

GPT-3が世界の注目を集めたのは、「何ができるか」だけではなく、「どのようにしてできたのか」という点にもある。性能の目覚ましい飛躍、中でもGPT-3が特別に訓練を受けていない言語タスクにも汎化できる能力は、アルゴリズムの改良ではなく、他ならぬ規模の巨大さから生まれたのだ（ただし、グーグルが2017年に開発したトランスフォーマー（transformer）と呼ばれる新型のニューラル・ネットワークに大きく依存している）。

「新しいアイデアが必要だと思っていましたが、規模の大きさだけで切り抜けられました」。オープンAIの研究者で、GPT-3の設計者の1人であるジャレッド・カプラン博士は、12月に開催された主要なAIカンファレンス「ニューリップス（NeurIPS）」のパネルディスカッションで述べた。

マイクロソフトに在籍する2人の研究者は10月、エヌビディア（NVIDIA）との共同研究で構築した大規模な「メガトロン・チューリングNLG（Megatron-Turing NLG）モデル」を発表したブログ記事で、「超巨大化によるAIモデルの性能向上は続いていて、一見すると終わりが見えません」と書いている。

モデルが大きいとは、どういうことか？ モデル、すなわち訓練済みのニューラル・ネットワークのサイズは、それが持つパラメーターの数で測られる。パラメーターとは、ネットワーク内に保持される値で、これらは訓練中に何度も調整され、モデルの予測に使用される。大まかに言えば、パラメー …

人気の記事ランキング

1. Why handing over total control to AI agents would be a huge mistake 「AIがやりました」 便利すぎるエージェント丸投げが危うい理由
2. OpenAI has released its first research into how using ChatGPT affects people’s emotional wellbeing チャットGPTとの対話で孤独は深まる？ オープンAIとMITが研究
3. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
4. How to have a child in the digital age 「あなたはもうママですね」 ネット・デジタルが約束する 「完璧な出産」の幻想