GPT-3に強力ライバル、
1000人が作ったLLMは
AI界の流れを変えるか？

鳴り響く轟音は人工知能（AI）研究界のロックコンサートのようだ。パリ郊外にあるフランス国立科学研究センターのスーパーコンピューティング・センター内では、黒い冷蔵庫のように見える物体が何列にも並び、耳をつんざくような100デシベルの大音量でうなっている。

これは、117日を費やして「BLOOM（ブルーム）」と呼ばれる新しい大規模言語モデル（LLM：large language model）を生み出したスーパー・コンピューターの一部である。BLOOMの開発者たちは、この言語モデルがAIの通常の開発方法を根本的に変えることを期待している。

オープンAI（OpenAI）の「GPT-3」や、グーグルの「LaMDA（ラムダ）」といったより有名な他の大規模言語モデルと異なり、BLOOM（「BigScience Large Open-science Open-access Multilingal Language Model」の略）は、できる限り透明性を持つように設計されている。研究者たちはBLOOMの訓練に用いたデータの詳細や、開発における課題、性能評価の方法について公表している。オープンAIとグーグルはコードを公開しておらず、言語モデルを一般に利用できるようにしていない。外部の研究者は、これらの言語モデルがどのように訓練されているかについてほとんど分かっていない。

7月12日に正式発表されたBLOOMは、1000人のボランティア研究者たちによる「ビッグサイエンス（BigScience）」と呼ばれるプロジェクトで、昨年1年間かけて作られた。このビッグサイエンス・プロジェクトはAIスタートアップであるハギング・フェイス（Hugging Face）が、フランス政府からの資金を使って取りまとめたものだ。研究者たちは、他の先進的なモデルと同等の性能を持ち、誰でも利用できる巨大言語モデルを開発することは、AI開発の文化に長期的な変化をもたらし、世界中の研究者が最先端のAI技術にアクセスできる民主化につながると期待している。

BLOOMの最大の特徴は、アクセスしやすさにある。すでに利用可能になっており、ハギング・フェイスのWebサイトから、誰でも無料でダウンロードして研究に利用できる。ユーザーは言語を選び、レシピや詩を書かせたり、文章を翻訳または要約させたり、プログラミングのコードを書かせたりするタスクをBLOOMに実行させられる。AI開発者はこのモデルを使って、独自のアプリケーションを構築することもできる。

1760億個のパラメーター（入力データを望ましい出力に変換するための変数）を持つが、これはオープンAIのGPT-3の1750億個のパラメーター数よりも多い。ビッグサイエンスによると、BLOOMは同サイズの他モデルと同程度の正確性と有害性を備えるという。スペイン語やアラビア語などの言語でこれほど大規模な言語モデルが作られたのは、BLOOMが初めてである。

しかし、同モデルの開発者でさえ、BLOOMは大規模言語モデルに根深く存在する問題を解決できないと警告する。その問題とは、データガバナンスポリシーやプライバシーポリシーの不足や、人種差別的・性差別的な有害なコンテンツを吐き出すなどといったことである。

公開の場に出す

膨大な量のデータを使って訓練される深層学習アルゴリズムである大規模言語モデルは、AI研究において最も注目されている領域の一つだ。GPT-3やLaMDAのような強力な大規模言語モデルは、人間が書いたかのような文を作成し、オンラインでの情報処理の方法を変える大きな可能性を持っている。これらは、チャットボットや情報の検索、オンラインコンテンツの調整、本の要約、要望に沿った全く新しい文の …

人気の記事ランキング

1. Why handing over total control to AI agents would be a huge mistake 「AIがやりました」 便利すぎるエージェント丸投げが危うい理由
2. OpenAI has released its first research into how using ChatGPT affects people’s emotional wellbeing チャットGPTとの対話で孤独は深まる？ オープンAIとMITが研究
3. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
4. How to have a child in the digital age 「あなたはもうママですね」 ネット・デジタルが約束する 「完璧な出産」の幻想