「大きいことはいいことだ」大規模言語モデルの呪縛を解く

テック企業はAIモデルの規模拡大に躍起になっている。だが、大規模モデルには大量の電力消費問題をはじめとする弊害があるうえ、特定タスクにおいては小規模モデルでも大規模モデルに匹敵する性能を発揮できる。 by Melissa Heikkilä2024.10.11

この記事は米国版ニュースレターを一部再編集したものです。

人工知能（AI）の世界では、「大きいことはいいことだ」と誰もが思っている節がある。より多くのデータ、より高い演算能力、より多くのパラメーターがあれば、モデルはますます強力になるという発想だ。こうした考え方が浸透するきっかけとなったのは、2017年の画期的な論文だった。この中でグーグルの研究者たちは、今日の言語モデルブームの基礎をなすトランスフォーマー（Transformer）アーキテクチャーを発表し、「スケールこそすべて」のマインドセットをAIコミュニティに植えつけた。現在、巨大テック企業は何にも増してスケールを競い合っているようだ。

「『お前のモデル、どれくらいデカいんだよ？』という具合ですね」。AIスタートアップ企業ハギング・フェイス（Hugging Face）でAI・気候担当責任者を務めるサーシャ・ルッチオーニは言う。テック企業が途方もない数のパラメーターを気軽に追加するせいで、たとえオープンソース・モデルであっても（ほとんどは違うが）、一般人はとてもダウンロードして手を加えることができない状況になっている。今日のAIモデルは「あまりに大きすぎます」と、ルッチオーニは批判する。

スケールにはさまざまな問題が伴う。たとえばプライバシーを侵害するデータ収集手法、データセットに混入する児童性的虐待画像などが挙げられると、ルッチオーニは共同研究者と新たな論文で詳細に論じた。そのうえ、大規模モデルの運用にはより多くの電力が必要であるため、カーボンフットプリントの増加に直結する。

スケールがもたらすもう1つの問題は、力関係の極端な不均衡だと、ルッチオーニは述べる。規模の拡大には莫大な資金が必要であるため、このようなモデルを構築して運用できるのは、巨大テック企業に所属するエリート研究者だけだ。

「コアプロダクトの1つとしてAIを利用する、ほんのひと握りの資金に恵まれた有力企業が、こうしたボトルネックを生み出したのです」と、ルッチオーニは説明する。

こうした状況は必然ではない。私はつい先日、比較的小規模だが強力な、新たなマルチモーダル大規模言語モデルについての記事を執筆したばかりだ。アレン人工知能研究所（Ai2）の研究者たちは、「モルモ（Molmo）」と呼ばれる一連のオープンソースモデルを構築した。これらの開発に投じられたリソースは、最新鋭モデルに比べれば微々たるものだが、性能は驚くべきものだ。

720億パラメーターを持つ最大のMolmoモデルは、画像、図表、文書の理解度などを測定するテストにおいて、推定で1兆以上のパラメーターを持つオープンAI（OpenAI）の「GPT-4o」を凌ぐとAi2は主張する。

一方、70億個のパラメーターを持つより小規模なMolmoモデルは、オープンAIの最先端モデルに迫る性能であると、Ai2は述べている。この成果は、データ収集と訓練手法の大幅な効率化によって実現されたという。詳しくはこちらの記事をお読みいただきたい。Molmoが示すように、巨大なデータセットと巨大なモデルに法外な資金と訓練用のエネルギーを投じる必要はないのだ。

「スケールこそすべて」のマインドセットの呪縛を解くことは、Molmoの開発にあたった研究者たちにとっても難題の1つだったと、Ai2の上席研究主幹を務めるアニ・ケンバヴィ博士は語る。

「プロジェクトの発足にあたって、私たちは完全に既存の枠から外れた考え方をしなくてはなりませんでした。なぜなら、モデルの訓練にはもっといい方法があるはずだからです」と、ケンバヴィ博士は言う。研究チームは、オープンモデルはクローズドな独自モデルと同等の性能を持ちうることを証明したいと考えた。そのためには、誰もがアクセスでき、訓練に数百万ドルの資金を必要としないモデルを構築する必要があった。

Molmoは「少は多に、小は大に、オープンはクローズドに劣らない」ことを体現するものだと、ケンバヴィ博士は語る。

スケールダウンが妥当な理由はほかにもある。大規模モデルは概して、エンドユーザーが実際に必要とする以上の機能を備えていると、ルッチオーニは説明する。

「たいていの場合、何もかもをこなせるモデルは必要ありません。必要なのは、AIにさせたい特定のタスクに長けたモデルです。そしてこれに関しては、大規模モデルのほうが必ずしも優れているとは限らないのです」と、ルッチオーニは言う。

むしろ、私たちはAIの性能を測定する方法を再考し、本当に重要な機能にフォーカスすべきだと、ルッチオーニは主張する。たとえば、がんを発見するアルゴリズムを開発したいなら、万能モデルを使ってインターネット上の画像を利用して訓練するよりも、正確性、プライバシー、モデルの訓練に用いるデータの信頼性といった要素を優先すべきだろうと述べる。

しかし、これには現在のAI業界の通例よりも高いレベルの透明性が求められる。研究者は実際のところ、モデルの挙動の詳細や、なぜそのように機能するのか、さらにはデータセットに何が含まれるかさえ、十分に把握していない。スケーリングが標準手法となったのは、モデルに大量のデータを放り込みさえすれば、パフォーマンスが向上することに、研究者たちが気づいたからだ。研究コミュニティと企業はインセンティブの転換を進める必要がある。私たちはテック企業に対し、モデルの訓練データに一層気を配り、透明性を高め、より少ないリソースでより多くを実現して人々の役に立つことを求めていくべきなのだ。

「AIモデルをどんな悩みも解決してくれる魔法の箱にする必要はないのです」と、ルッチオーニは語る。

ハリウッドの「台本選び」にAIが活躍

ハリウッドでは毎日、大勢の人々がスタジオ関係者に代わって脚本を読み、毎年何万本も送られてくる中からダイヤモンドの原石を探している。 1本の脚本は長ければ150ページにもなり、通読して「カバレッジ（長所と短所の要約）」を書くには半日かかる。売い買いされる脚本は1年間にたった50本程度であるため、スクリプトリーダー（脚本の読み手）は冷酷になるよう訓練されている。

そうした中、シネリティック（Cinelytic）というテック企業が、ワーナー・ブラザース、ソニー・ピクチャーズといった主要スタジオと提携し、生成AIを利用した脚本フィードバックの提供に向けて動き出した。同社は脚本を分析する新ツール「カライア（Callaia）」を発表した。カライアはAIを利用して、脚本のあらすじ、比較可能な映画のリスト、台詞や独創性など項目別の点数評価、役に適任な俳優などを含む、独自のカバレッジを1分未満で書き上げる。詳しくはジェームズ・オドネル記者による記事をお読みいただきたい。

AI関連のその他のニュース

カリフォルニア州知事、包括的なAI規制州法案に拒否権発動。ギャビン・ニューサム知事は、大規模AIシステムに事前の安全検査を義務づけ、深刻な損害が生じた場合にAI企業を訴える権限を州検事総長に付与する法案「SB1047」に対し、拒否権を発動した。ニューサム知事は、法案は大規模モデルに力点を置きすぎており、広範な損害やリスクが考慮されていないとの見解を示した。AIの急速な普及を批判する人々は、拒否権発動への失望を表明した。（ニューヨーク・タイムズ）
残念ながら、AIで気候問題は解決できない。オープンAIのサム・アルトマン最高経営責任者（CEO）は、AIによって「インテリジェンスの時代」が到来し、「想像を絶する」繁栄と、「気候問題の解決」のような「驚くべき勝利」が実現すると謳う。だが、技術的ブレイクスルーだけで地球温暖化問題を解決することはできない。実際には、目下のところ、AIはむしろ気候問題を悪化させている。（MITテクノロジーレビュー）
オープンAIを本物の企業に転換する試みはいかにして分裂を招いているか。またしても起こった組織内紛により、オープンAIは最高技術責任者（CTO）のミラ・ムラティをはじめとする複数の幹部社員を失った。オープンAIはカオスに陥りつつある。これは非営利研究機関から営利組織への転換という、サムアルトマンCEOの方針に起因するものだ。内部の関係者によれば、この転換は同社のカルチャーを「堕落させた」という。（ウォール・ストリート・ジャーナル）
マイクロソフトがスリーマイル島原子力発電所の再始動に手を貸す理由。この閉鎖された原子力発電所はまもなく、マイクロソフトが巨額の資金を投じるAI開発計画の電力源へと変わるかもしれない。（MITテクノロジーレビュー）
オープンAI、「高度な音声モード」をより多くのユーザーに提供開始。ダウンロード方法はこちら。同社によると、アップデート版ではユーザーの感情や声のトーンに反応することができ、ユーザーはモデルが話している最中に割り込むことができるという。（MITテクノロジーレビュー）
連邦取引委員会、AI詐欺の取締に着手。同委員会は新たに、「オペレーションAIコンプライ」の活動を開始した。同活動では、AIを利用した詐欺やその他の不正行為の捜査をすることになる。チャットボットを利用した「法律相談」、偽のオンラインレビューを作成するAIツール、巨額の報酬を謳うAIビジネスの虚偽広告などが対象となる。（連邦取引委員会）
AIでヘイト表現を含むコンテンツを検出したいのならモデルを開発しよう。ヘイト表現を含む画像を検出する手法を確立した開発者に賞金1万ドルを授与する、新たなコンペティションが開催される。（MITテクノロジーレビュー）

人気の記事ランキング

メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者: MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。