メタの大規模言語モデルが問う「オープンであること」の価値

メタが7月18日に無償公開した大規模言語モデル「Llama 2（ラマ）」を使ったサービスや製品の開発が相次いでいる。先行するオープンAIなどのモデルに比べてどこが優れているのか。 by Melissa Heikkilä2023.08.16

この記事は米国版ニュースレターを一部再編集したものです。

動きは速かった。メタが7月18日に人工知能（AI）モデル「Llama 2（ラマ）」をリリースしてから1週間も経たないうちに、スタートアップ企業や研究者たちはこのモデルを使ってチャットボットやAIアシスタントを開発してしまったのだ。このモデルを使って作られた製品がさまざまな企業からリリースされるのも、時間の問題だろう。

私は以前の記事で、Llama 2がオープンAI（OpenAI）やグーグルなどにもたらす可能性のある脅威について考察している。軽快かつ透明性があり、カスタマイズ可能なモデルを無料で使えれば、企業は、オープンAIの「GPT-4」のような大規模で洗練された専有モデルを使うよりも早く、AI製品やAIサービスを作り出せるかもしれない。

しかし、私が本当に注目しているのは、メタが門戸を開いている範囲だ。メタはより幅広いAIコミュニティに対し、Llama 2をダウンロードして微調整できるようにする予定であり、このことにより、モデルがより安全で効率的なものになる可能性がある。そして重要なのは、AIモデルの内部の仕組みに関して、秘密主義を凌ぐ透明主義の利点を実証できるかもしれないことだ。これほどタイムリーで重要なことはないだろう。

テック企業各社は独自のAIモデルを世に送り出すことを急いでおり、ますます多くの製品に生成AI（ジェネレーティブAI）が組み込まれつつある。しかし、世に出ているオープンAIのGPT-4のような強力なモデルは、作成者によって厳重に守られている。開発者や研究者はWebサイトを通じて有料で限定的にアクセスできるだけであり、モデル内部の詳しい仕組みは分からない。

この不透明さは、先ごろ話題になった新たな査読前論文で強調されているように、そのうち問題を引き起こす可能性がある。スタンフォード大学とカリフォルニア大学バークレー校の研究チームは、「GPT-3.5」と「GPT-4」の性能が、数学問題を解くこと、繊細な質問に答えること、コードを生成すること、視覚的な推理をすることにおいて、数カ月前より低下したことを発見した。

これらのモデルは透明性が欠けているため、性能低下の理由を正確に示すことは難しい。だが、いずれにせよ、この結果は話半分に受け止めるべきだと、プリンストン大学でコンピューター・サイエンスを教えるアルヴィンド・ナラヤナン教授は、評価記事の中で書いている。そうした結果は、オープンAIがモデルの性能を落とした証拠というよりも、「執筆者たちの評価の癖」が原因である可能性が高いという。論文の研究チームはオープンAIが性能向上のためモデルを微調整したことを考慮に入れておらず、そのことによって意図せずに、いくつかのプロンプト（指示テキスト）作成手法が以前のようにうまく機能しなくなったのではないかと、ナラヤナン教授は考えている。

これは、いくつかの重大な可能性を示している。オープンAIのモデルの特定のバージョンで動作するように製品を構築し、最適化してきた企業は、「100%」の確率で突然の不具合や機能停止を経験する可能性があると、スタートアップ企業ハギング・フェイス（Hugging Face）のAI研究者、サーシャ・ルッチョーニ博士は言う。オープンAIがこのような方法でモデルを微調整すると、たとえば非常に特殊なプロンプトを使って作られた製品が、以前のように機能しなくなる可能性がある。クローズドモデルは説明責任を欠いていると、ルッチョーニ博士は付け加える。「自社製品の何かを変更した場合は、そのことを顧客に伝えなければなりません」。

Llama 2のようなオープンモデルであれば、少なくとも開発企業がどのようにモデルを設計し、どのような訓練手法を用いてきたのか、明らかになるだろう。オープンAIとは異なり、メタはLlama 2のレシピをすべて共有してきた。それには、どのように訓練されたのか、どのハードウェアが使われたのか、データはどのようにアノテーションされたのか、有害性を軽減するためにどんな手法が使われたのか、などの詳細な情報が含まれている。このモデルを基盤にして研究をしたり製品を構築したりしている人々は、自分たちが取り組んでいることを正確に把握することができるとルッチョーニ博士は言う。

「Llama 2を利用できるようになれば、あらゆる種類の実験をして、確実に性能を高めたり、バイアスを少なくしたりするなど、求めていることを何でも追求できます」。

結局のところ、AIをめぐるオープン対クローズドの議論は、誰が支配するかということに帰結する。オープンモデルでは、ユーザーがより強い権限とコントロールを持つ。クローズドモデルでは、ユーザーはモデル作成者の言いなりである。

メタのような大企業が、このようなオープンで透明性の高いAIモデルをリリースしたことは、生成AIゴールドラッシュの転換点になる可能性を感じさせる。

もし、大いに誇大宣伝されている専有モデルを基盤にして作られた製品が、突然、当惑するような不具合を起こし、開発者にはその原因が知らされないままだとしたら、どうなるだろう。同様の性能を持つオープンで透明性の高いAIモデルが、突然、より魅力的で信頼できる選択肢に思えるようになるだろう。

メタがやっていることは、慈善活動ではない。自社のモデルの欠陥を他の者たちに調べさせることは、そこから得られるものも多い。メタで生成AIのプロジェクトを主導しているアフマド・アルダーレ副社長は、より幅広い外部コミュニティから学んだことを取り入れ、それを利用してこれからもモデルの改善を続けていくと話す。

それでも、これは正しい方向へ向かう一歩であるとルッチョーニ博士は言う。同博士は、メタの動きがプレッシャーとなって、AIモデルを持つ他のテック企業がよりオープンな方法を検討するようになることを望んでいる。

「これほどオープンでいられるメタには、とても感心しています」と、ルッチョーニ博士は話す。

◆

AI関連のその他のニュース

ホワイトハウスとAI企業の新たな関係。バイデン政権は、アマゾン、アンソロピック（Anthropic）、グーグル、インフレクション（Inflection）、メタ、マイクロソフト、オープンAIと、安全、安心、透明な方法で新たなテクノロジーを開発する協定を結んだことを7月21日に発表した。テック企業各社は、AIが生成したコンテンツに透かしを入れること、サイバーセキュリティに投資すること、市場にリリースする前に製品をテストすることなどを約束した。しかし、これらはすべて完全に自発的なものであり、実行しなくても何の影響も受けない。この発表内容の自発的な性質は、AIに関してバイデン政権の権限がいかに限定的であるかということを示している。

「チャットGPT」の驚くべきスキル：顔認識。オープンAIは、写真から人の顔を認識して言葉で表現できる「チャットGPT（ChatGPT）」のバージョンをテストしている。このツールは視覚障害者にとって助けになる可能性があるが、プライバシーにとっては悪夢になるかもしれない。（ニューヨーク・タイムズ）

アップルが独自の生成AIモデルとチャットボットを構築。出遅れてもやらないよりはマシ、といったところだろう。アップルの幹部たちは、「アップルGPT（Apple GPT）」を消費者に向けてどのようにリリースするか、まだ決めていない。（ブルームバーグ）

AI革命の先駆者となったグーグルのエンジニアたちについて知ろう。変革者たちのオリジナル・ストーリーと、現在の生成AIブームの原動力となっているAIテクノロジー、そしてそれを作り上げたエンジニアたちのチームを紹介するよい記事だ。特筆すべきは、彼らの誰も、もうグーグルで働いていないということである。（フィナンシャル・タイムズ）

人気の記事ランキング

メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者: MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。