GPT-3に強力ライバル、
1000人が作ったLLMは
AI界の流れを変えるか？

鳴り響く轟音は人工知能（AI）研究界のロックコンサートのようだ。パリ郊外にあるフランス国立科学研究センターのスーパーコンピューティング・センター内では、黒い冷蔵庫のように見える物体が何列にも並び、耳をつんざくような100デシベルの大音量でうなっている。

これは、117日を費やして「BLOOM（ブルーム）」と呼ばれる新しい大規模言語モデル（LLM：large language model）を生み出したスーパー・コンピューターの一部である。BLOOMの開発者たちは、この言語モデルがAIの通常の開発方法を根本的に変えることを期待している。

オープンAI（OpenAI）の「GPT-3」や、グーグルの「LaMDA（ラムダ）」といったより有名な他の大規模言語モデルと異なり、BLOOM（「BigScience Large Open-science Open-access Multilingal Language Model」の略）は、できる限り透明性を持つように設計されている。研究者たちはBLOOMの訓練に用いたデータの詳細や、開発における課題、性能評価の方法について公表している。オープンAIとグーグルはコードを公開しておらず、言語モデルを一般に利用できるようにしていない。外部の研究者は、これらの言語モデルがどのように訓練されているかについてほとんど分かっていない。

7月12日に正式発表されたBLOOMは、1000人のボランティア研究者たちによる「ビッグサイエンス（BigScience）」と呼ばれるプロジェクトで、昨年1年間かけて作られた。このビッグサイエンス・プロジェクトはAIスタートアップであるハギング・フェイス（Hugging Face）が、フランス政府からの資金を使って取りまとめたものだ。研究者たちは、他の先進的なモデルと同等の性能を持ち、誰でも利用できる巨大言語モデルを開発することは、AI開発の文化に長期的な変化をもたらし、世界中の研究者が最先端のAI技術にアクセスできる民主化につながると期待している。

BLOOMの最大の特徴は、アクセスしやすさにある。すでに利用可能になっており、ハギング・フェイスのWebサイトから、誰でも無料でダウンロードして研究に利用できる。ユーザーは言語を選び、レシピや詩を書かせたり、文章を翻訳または要約させたり、プログラミングのコードを書かせたりするタスクをBLOOMに実行させられる。AI開発者はこのモデルを使って、独自のアプリケーションを構築することもできる。

1760億個のパラメーター（入力データを望ましい出力に変換するための変数）を持つが、これはオープンAIのGPT-3の1750億個のパラメーター数よりも多い。ビッグサイエンスによると、BLOOMは同サイズの他モデルと同程度の正確性と有害性を備えるという。スペイン語やアラビア語などの言語でこれほど大規模な言語モデルが作られたのは、BLOOMが初めてである。

しかし、同モデルの開発者でさえ、BLOOMは大規模言語モデルに根深く存在する問題を解決できないと警告する。その問題とは、データガバナンスポリシーやプライバシーポリシーの不足や、人種差別的・性差別的な有害なコンテンツを吐き出すなどといったことである。

公開の場に出す

膨大な量のデータを使って訓練される深層学習アルゴリズムである大規模言語モデルは、AI研究において最も注目されている領域の一つだ。GPT-3やLaMDAのような強力な大規模言語モデルは、人間が書いたかのような文を作成し、オンラインでの情報処理の方法を変える大きな可能性を持っている。これらは、チャットボットや情報の検索、オンラインコンテンツの調整、本の要約、要望に沿った全く新しい文の …

人気の記事ランキング

1. These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
2. Google’s new Project Astra could be generative AI’s killer app 世界を驚かせたグーグルの「アストラ」、生成AIのキラーアプリとなるか
3. Bringing the lofty ideas of pure math down to earth 崇高な理念を現実へ、 物理学者が学び直して感じた 「数学」を学ぶ意義
4. We saw a demo of the new AI system powering Anduril’s vision for war オープンAIと手を組んだ 防衛スタートアップが目指す 「戦争のアップデート」