メタ（旧フェイスブック）AIラボは、オープンAI（OpenAI）の先駆的なニューラル・ネットワーク「GPT-3」の驚くべき能力と有害な欠陥の両方を継承する新しい大規模言語モデル「OPT（Open Pretrained Transformer）」を作成し、研究者向けに提供を開始した。同モデルの構築方法や訓練方法の詳細も公開する。巨大テック企業の取り組みとしては異例のことだ。
「自社の研究を他者が精査できることは、研究にとって重要なことだと強く思っています。他の研究者とのコラボレーションを心から歓迎します」。技術開発の透明性を長年にわたって提唱し、現在はメタAIラボの所長を務めるジョエル・ピノー博士は語る。
今回のメタの動きは、完全に訓練された大規模言語モデルが、研究を望む研究者なら誰でも利用できるようになる初の試みだ。このニュースは、強力なテクノロジーが密室の小さなチームによって作られていることを懸念する多くの人々から歓迎されている。
ワシントン大学の計算言語学者で、言語モデルの開発・導入方法を頻繁に批判しているエミリー・M・ベンダー教授は、「この透明性には拍手を送りたいですね」と話す。
世界中の1000人以上のボランティアがオープンソースの言語モデルを共同で開発する「ビッグサイエンス・プロジェクト」を支えるAIスタートアップ企業ハギング・フェイス（Hugging Face）の主任科学者、トマス・ウルフも「素晴らしい動きです」と述べ、「オープンなモデルは多いほど良いです」とコメントした。
大規模言語モデルは、人間の会話を模倣して段落単位のテキストを生成できる強力なプログラムであり、ここ数年で人工知能（AI）分野で最もホットなトレンドの1つとなっている。しかし、これらの大規模言語モデルには深刻な欠陥がある。誤った情報、偏見、有害な言葉を機械的に繰り返し使用してしまうのだ。
この問題は、理論的には、問題に取り組む人を増やせば解決するはずだ。しかし、言語モデルの学習には膨大なデータとコンピューティング能力が必要となるため、問題に取り組めるのは資金が潤沢なテック企業のプロジェクトにとどまっていた。倫理学者や社会科学者といった言語モデルの悪用を懸念するより広い研究者のコミュニティは、問題を傍観するほかなかった。
メタAIラボは、こうした状況を変えたいと考えているという。「私たちの多くは、もともと大学の研究者でした」とピノー所長は話す。「このような言語モデルを構築する能力については、大学と産業界との間にギャップが存在することを知っています。この言語モデルを他の研究者が使えるようにするのは、当然のことでした」。ピノー所長は、他の研究者らがメタが開発した言語モデルをじっくり精査したり、分解したり、そこから新しいものを構築してくれることを望んでいる。多くの人が関わることにより、ブレークスルーが早まるとピノー所長は言う。
メタの大規模言語モデルであるOPTは、非商用目的で利用可能で、同社は同モデルのコードと、訓練の過程を記録した日誌（ログブック）も公開している。日誌には、訓練データをいつ、どのように言語モデルに追加したか、何が成功し、何がうまくいかなかったかなどが含まれており、言語モデルのチームのメンバーが日々更新している。100ページを超える日誌には、2021年10月から2022年1月にかけて断続的に実施された3カ月間の訓練過程における、すべてのバグ、クラッシュ、リブートの記録が研究者によって残されている。
1750億のパラメーター（訓練時に調整されるニューラル・ネットワークの値）を持つOPTは、GPT-3と同じサイズである。これは意図的なものだとピノー所長は言う。OPTは、言語タスクの正確さと有害性という点において、GPT-3に匹敵することを目指して構築されたのだ。オープンAIはGPT-3を有料サービスとして提供しているが、言語モデル自体やコードは共有していない。今回メタの目的は、研究者に研究用の類似言語モデルを提供することだった、とピノー所長は説明する。
メタの今回の発表についてオープンAIにコメントを求めたが、回答は得られていない。
自社の検索サービスに大規模な言語モデルの利用を模索しているグーグルも、同社の言語モデルの透明性の欠如を批判されている。グーグルは2020年、自社のAI倫理チームの主要メンバーが同社の技術面の問題点を浮き彫りにする研究論文を発表した後、そのメンバーを強制的に退職に追い込み、物議を醸した。
文化の衝突
メタの動機は何だろうか。つまるところ、メタはフェイスブックとインスタグラムに使われているアルゴリズムがどのように機能するかについてほとんど発表しておらず、自社の社内調査チームによる好ましくない調査結果を葬り去ったとして悪名高い。メタAIのチームがこれまでと異なるアプローチをとった大きな理由として、ピノー所長自身が長年、AIの透明性を高めることを訴えてきたことが挙げられる。
ピノー所長は、複数の大きな学会での研究発表の方法を変えることに貢献した人物だ。研究発表において、研究者が研究結果と共に提出しなければならないコードや実験の実行方法の詳細などのチェックリストを導入したのだ。2017年にメタ（当時はフェイスブック）に入社して以来、メタAIラボでオープン・サイエンスの文化を唱え続けてきた。
「オープン・サイエンスへの取り組みが、私がメタに在籍している理由です」とピノー所長は言う。「その取り組みがなかったら、私がここにいる理由はありません」。
最終的にピノー所長は、AIを判断する方法を変えたいと考えている。「最先端と呼ばれるには、性能だけではダメなのです。責任の点でも、最高水準でなければならないのです」。
それにしても、大規模な言語モデルを公開するとは、メタとしては思い切った行動だ。「この言語モデルが、望ましくない言葉を生み出すリスクがないとは言い切れません」とピノー所長は言う。「おそらく生み出すでしょう」。
リスク評価
グーグルが2020年に解雇したAI倫理研究者の一人で、現在はハギング・フェイスに在籍するマーガレット・ミッチェルは、OPTの公開を前向きな動きと捉えている。しかし、透明性には限界があると考えている。その言語モデルは十分な厳密さでテストされているか？ 予見できる利益は、誤情報の発生や人種差別的・性差別的な表現など、予見できる害を上回るだろうか？
「大規模な言語モデルを、多くの人が利用し、その出力に影響を受ける可能性のある世界に公開することは、責任を伴います」とミッチェルは語る。今回メタが公開した言語モデルは、それ自体だけでなく、研究者がその言語モデルの上に構築する下流のアプリケーションを通じて、有害なコンテンツを生成する可能性があるとミッチェルは指摘する。
メタのAIラボはOPTを監査して複数の有害な動作を取り除いたという。しかし重要なのは、欠点もすべてさらけ出したありのままの言語モデルから研究者が学べるように公開することだと、とピノー所長は語る。
「評判や被害がゼロになるわけではないことを理解したうえで、私たちが安心できるような方法で公開するにはどうしたらよいか、多くの議論がありました」（ピノー所長）。オープンAIは、GPT-3の前身であるGPT-2を「危険だから」という理由により公開しなかったが、同所長は危険だから公開しないという考え方を否定する。「これらの言語モデルの弱点は理解していますが、それは研究者として持つべき心構えではありません」。
グーグルの解雇論争の中心となった研究をミッチェルと共同執筆したベンダーも、潜在的な害悪がどう処理されるかを懸念している。「機械学習技術のリスクを軽減するために重要なことは、具体的なユースケースを想定して評価・検討することです。そのシステムを何に使うのでしょうか？ 誰が使うのでしょうか、そしてそのシステムのアウトプットをどのように見せるのでしょうか？」
研究者の中には、そもそも害を及ぼす可能性があるにもかかわらず、なぜ大規模な言語モデルを構築するのかと疑問を呈する人もいる。ピノー所長は、このような懸念については、言語モデルの露出を減らすのではなく、むしろ高めることで対処されるべきだと考えている。「信頼関係を構築する唯一の方法は、極めて高い透明性だと思います」。
「どのような表現が適切かという点については、世界中でさまざまな意見がありますが、AIはその会話の一部なのです」とピノー所長は述べる。ピノー所長は、言語モデルが誰もが納得するようなことを言うとは思っていない。「しかし、それにどう取り組めばよいでしょうか？この議論には多くの声が必要です」。