GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why

オープンAIが「GPT-4」を発表、性能向上も詳細は非公表に

チャットGPTで世界を驚かせたオープンAIが、新しい大規模言語モデル「GPT-4」を公開した。チャットGPTやGPT-3に比べて大幅に性能が向上しているとアピールするが、技術的詳細については非公表だ。 by Will Douglas Heaven2023.03.16

オープンAIがついに、次世代の大規模言語モデル「GPT-4」を公開した。数カ月前に公開され、想定外のヒットとなった「チャットGPT」は、すでに他社には真似できない存在となっているが、オープンAIはGPT-4をさらに大きく、良いものにしている。

だが、GPT-4の実際の規模や能力が向上した理由を、オープンAIが明かすことはないだろう。GPT-4は同社がこれまでに提供してきた製品の中でもっとも謎に包まれており、オープンAIが非営利の研究所から利益追求型のテック企業へと完全に移行したことを物語っている。

発表から1時間後、MITテクノロジーレビューはビデオ通話でGPT-4のチームに取材している。同社のイリヤ・サツケバー主任科学者は、「現時点では、それについては詳しくお答えできません」と語った。「市場の競争はとても激しくなっていますから」。

現在のところ、GPT-4は待機リストに申し込んだ人と有料版の「チャットGPT Plus」の契約者に対して、テキストのみ使用可能な限定版として提供される。

GPT-4は「マルチモーダル大規模言語モデル」であるため、テキストにも画像にも対応できる。例えば、冷蔵庫の中身の写真を見せて何が作れるかを尋ねると、写真に写っている食材を使ったレシピを提示しようとする。

「多くの面で改善を続けているのはすばらしいことです」。こう話すのは、アレン人工知能研究所（AI2：Allen Institute for AI）のオレン・エツィオーニ顧問だ。「GPT-4は今や、すべての基盤モデルを評価する基準となっています」。

オープンソースの大規模言語モデル「BLOOM（ブルーム）」を開発したAIスタートアップ、ハギング・フェイス（Hugging Face）のトーマス・ウルフ最高科学責任者（CSO）は、「優れたマルチモーダル・モデルはここ数年、多くの巨大テック企業の研究部門にとって最大の目標になっています」と話す。「しかし、そう簡単に達成できる目標ではありません」。

理論上は、文章と画像を組み合わせることで、マルチモーダル・モデルは世界をより深く理解できるはずだ。「空間推論など、言語モデルが従来苦手としてきた部分に対処できる可能性があります」とウルフCSOは言う。

だが、GPT-4にそれが当てはまるかどうかはまだ不明だ。オープンAIの新たなモデルは、基本的な推論においてチャットGPTよりも優れているように見える。GPT-4は、あるテキストのブロックを、同じ文字から始まる単語で要約するという簡単なパズルを解くことができる。例えば、オープンAIのWebサイトの宣伝文を「g」で始まる単語を使って要約すると、「GPT-4, groundbreaking generational growth, gains greater grades.（世代を超越する画期的な飛躍を遂げたGPT-4が、素晴らしい成績を上げる）。Guardrails, guidance, and gains garnered.（ガードレール、指針、進歩が得られた）。 Gigantic, groundbreaking, and globally gifted.（巨大にして画期的、そしてすべてにおいて才能に満ちている）」といった具合だ。ほかにも、デモではGPT-4が税に関する文書を理解し、根拠を示しながらその文書に関する質問に回答していた。

また、米国の統一司法試験（UBE：Uniform Bar Examination）や生物学オリンピックなど、通常は人間が受けるテストでも、GPT-4はチャットGPTを上回った（UBEでは上位10%に入った。チャットGPTは下位10%だった。生物学オリンピックではGPT-4は上位1%で、チャットGPTは下位31%だった）。「人間を対象にしたものとまったく同じ指標がシステムの評価に使われ始めたのはすばらしいことです」とハギング・フェイスのウルフCSOは言う。だが同時に、「技術的な詳細が分からなければ、こうした結果がどれだけ優れているかは判定できません」と付け加えた。

オープンAIによると、同社の前世代の技術である「GPT-3」を基にしたチャットGPTよりもGPT-4の方が優れている理由は、パラメーター（ニューラル・ネットワークの規模や性質などを表す値で、訓練中に調整される）を増やして規模を拡大したためだという。このやり方は、オープンAIが前世代のモデルで見出した重要な傾向を踏襲したものだ。GPT-3の規模はGPT-2の100倍以上で、パラメーターも15億から1750億に増やしたことで能力が向上した。「この基本的な式は、長い間あまり変わっていません」と、GPT-4の開発に携わるヤクブ・パチョッキ研究主任は言う。「それは宇宙船を組み立てるようなものです。小さな部品をすべて正しく揃え、1つも故障しないようにしなくてはなりません」。

だがオープンAIは、GPT-4の規模を明かさない道を選択した。これまでに同社が大規模言語モデルを公開してきた時とは違い、GPT-4の中身（データではなく、訓練に使用したコンピューターの総量、訓練の手法など）について何も明らかにしていない。「オープンAIは完全に閉ざされた企業になり、科学的なコミュニケーションは製品のプレスリリースのようなものになっています」とハギング・フェイスのウルフCSOは指摘する。

オープンAIは、GPT-4の安全性と精度の向上に6カ月を費やしたと述べている。GPT-3.5と比較して、同社が許可しない内容に関する要求に答える確率が82%低下したという。また、事実に基づかない回答を返す確率は60%低下したという。

以上の成果は、チャットGPTにも用いた手法で得られたものだとオープンAIは説明している。つまり、人間のフィードバックを利用した強化学習だ。モデルのさまざまな反応に人間が点数を付け、その点数を将来の改善に役立てたのだ。

研究チームはさらに、GPT-4自身が自力で改善するように仕向けた。見方の偏った反応や不正確な回答、攻撃的な発言につながるような質問を生成するように命じた後にモデルを修正し、そのような質問を拒否するようにした。

GPT-4は、史上最高のマルチモーダル大規模言語モデルかもしれない。しかし、GPT-3が2020年に初めて登場した時のように、他のモデルに比べて飛び抜けているというわけではない。ここ3年間で多くのことが起こった。GPT-4は現在、ディープマインドが開発した「フラミンゴ（Flamingo）」のようなマルチモーダル・モデルと肩を並べる存在だ。ウルフCSOによると、ハギング・フェイスは現在、オープンソースのマルチモーダル・モデルに取り組んでおり、無料で利用できるようにする予定だという。

このような競争に直面して、オープンAIは今回の発表を、研究成果の発表というよりも製品の宣伝色が濃いものにした。GPT-4の初期バージョンは、マイクロソフトなどオープンAIのパートナーの一部と共有されている。マイクロソフトは3月14日、「ビング・チャット（Bing Chat）」にGPT-4を使用していることを認めた。オープンAIは現在、ストライプ（Stripe）やデュオリンゴ（Duolingo）、モルガン・スタンレー、アイスランド政府（GPT-4をアイスランド語の保護のために利用している）などとも提携している。

その他にも、多くの企業が同社との提携を望んでいる。「このような規模のモデルを独力で構築する費用は、大部分の企業にとってはあまりにも莫大で到底出せないものです。オープンAIが採用した手法のおかげで、スタートアップ企業でさえも大規模言語モデルを気軽に使えるようになりました」。投資会社トーラ・キャピタル（Tola Capital）のシーラ・グラティ共同創業者はそう語る。「今後、GPT-4を基に、とてつもないイノベーションが生まれるでしょう」。

とはいうものの、大規模言語モデルにはいまだ根本的な欠陥がある。GPT-4は今でも、偏った意見や誤った情報、敵対的な文章を生成する可能性がある。ハッキングによってガードレールを突破することも可能だ。オープンAIは技術の改善には成功したが、欠陥を修正できたわけではない。同社は、GPT-4を第三者のアプリで使用できるように、安全性について十分に検証していると主張している。と同時に、想定外の事態にも備えている。

「安全性は単純に白黒付けられる問題ではなく、プロセスなのです」とオープンAIのサツケバー主任科学者は言う。「新たな能力が利用できるようになると、物事はいつでも複雑になります。一連の能力の多くについては理解が進んでいますが、想定外のことも間違いなく起こるでしょう」。

サツケバー主任科学者自身も、リリースを遅らせた方がいいと考えることもあるという。「こうしたまったく前例のない能力を備えたモデルの公開に慎重になることを、企業が許容するようなプロセスを見つけ出せることが望ましいでしょう」。

人気の記事ランキング

ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者: AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材しています。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ（Future Now）」の創刊編集長、ニュー・サイエンティスト（New Scientist）誌のテクノロジー統括編集長を務めていました。インペリアル・カレッジ・ロンドンでコンピュータサイエンスの博士号を取得しており、ロボット制御についての知識があります。