未来への一歩を踏み出したオープンAI「GPT-3」の衝撃、熱狂に警鐘も
オープンAIが発表した「GPT-3」はこれまでで最大の言語モデルであり、まるで人間が書いたかのような文章を望みのままに生成できる。しかし、AIが真の知性に近づいたわけではない。 by Will Douglas Heaven2020.07.23
「GPT-3で遊ぶのは、まるで未来を見ているみたいな気分だ」。サンフランシスコ在住の開発者でありアーティストのアラム・サべティは7月10日のツイートでそう述べた。この感想は、非営利の研究機関であるオープンAI(OpenAI)による最新のテキスト生成人工知能(AI)に対する数日間のソーシャルメディアの反応をほぼ要約している。
オープンAIは5月に発表した研究論文で初めてGPT-3について述べたが、7月に入って、プライベート・ベータ版へのアクセスを申請した特定の人々を対象に少しずつソフトウェアを提供し始めた。 現在、オープンAIは外部開発者の手を借りてGPT-3に何ができるかを調べようとしているところだが、今年中にツールを製品化し、クラウドを通じた有料サブスクリプション・サービスとして企業に提供する予定だ。
GPT-3はこれまでで最も強力な言語モデルだ。その前身であり、昨年リリースされたGPT-2は、書き出しのセンテンスの入力に応じて、さまざまな文体で説得力のある一連のテキストを出力することがすでに可能だったが、GPT-3はさらに大きな飛躍を遂げた。AIの訓練中にニューラル・ネットワークが値の最適化を試みるパラメーターはGPT-2ですでに150億もあった。これに対し、GPT-3は1750億ものパラメータを有している。言語モデルにとってサイズはとても重要だ。
Another attempt at a longer piece. An imaginary Jerome K. Jerome writes about Twitter. All I seeded was the title, the author's name and the first "It", the rest is done by #gpt3
Here is the full-length version as a PDF:https://t.co/d2gpmlZ1T5 pic.twitter.com/1N0lNoC1eZ
— Mario Klingemann💧💦 (@quasimondo) July 18, 2020
サベティは、自身がGPT-3で生成した短編小説や歌詞、プレスリリース、技術マニュアルなどを披露したブログ記事へのリンクを投稿した。GPT-3はまた、特定の作家の摸倣作を生成することもできる。機械学習を扱うアーティストのマリオ・クリンゲマンは、ジェローム・K・ジェローム の文体で書かれた「ツイッター上に存在することの重要性」と題された短編をシェアした。この作品は次のような文章で始まる。「ロンドンの人々がまだ関心を持ち続けている社会生活の最後の一形態がツイッターだというのは、興味深い事実だ。定期休暇で海辺を訪れたとき、まるでムクドリの籠のように周囲の誰もがさえずっている(twittering)ことに気が付いて、私はこの奇妙な事実に胸を打たれた」。クリンゲマンによると、AIには題名と著者名、書き出しの「it」しか与えていないという。丸ごとGPT-3によって書かれたかなり有益なGPT-3の紹介記事まである。
他の人々は、ギターのタブ譜(弦ごとに押さえる箇所を示した楽譜)やコンピューター・コードなど、あらゆる種類のテキストを生成できることを発見した。例えば、Web開発者のシャリフ・シャミームは、自然言語ではなくHTMLを生成するようにGPT-3を調整すると、「スイカのかたちのボタン」や「『ニュースレターへようこそ』と書かれた大きな赤文字のテキストと、『購読』と書かれた青いボタン」のようなプロンプトを与えることでWebページのレイアウトが可能だと示した。
This is mind blowing.
With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.
W H A T pic.twitter.com/w8JkrZO4lk
— Sharif Shameem (@sharifshameem) July 13, 2020
だが新たな仕掛けをもってしても、GPT-3にはまだ性差別的あるいは人種差別的な憎悪のこもった言葉を吐き出してしまう傾向がある。しかしGPT-2では、モデルに微調整を施すことでこの種の出力結果を抑制する効果が見られた。
I mean, maybe I’m just jaded but I’m going to wait a bit and see what sort of egregious bias comes out of GPT-3. Oh, it writes poetry? Nice. Oh, it also spews out harmful sexism and racism? I am rehearsing my shocked face. #gpt3
— Kate Devlin (@drkatedevlin) July 18, 2020
No one should be surprised by this. How do we keep this from happening accidentally? Don’t have all the answers yet, but fine-tuning on strong and generalizable normative priors helped with GPT-2 https://t.co/V12NM8ZtAH https://t.co/1bn6G6eWjM
— Mark Riedl (best stuff @riedl@sigmoid.social) (@mark_riedl) July 18, 2020
大勢の人がすぐさま知性について語り始めたことは驚くに値しない。しかし、GPT-3の人間じみたアウトプットや目覚ましいほどの汎用性は優れたエンジニアリングの成果であって、本物の知性によるものではない。第一に、常識の完全な欠如を露呈する大失敗をやらかすことがある。よくできた生成結果にさえ深みが欠けていて、オリジナルの創作物というよりは、コピー・アンド・ペーストで切り貼りした文章のようだ。
This post is one of the best GPT-3 evaluations I've seen. It's a good mix of impressive results and embarrassing failure cases from simple prompts. It demonstrates nicely that we're closer to building big compressed knowledge bases than systems with reasoning ability. https://t.co/a5Nq006dMD
— Denny Britz (@dennybritz) July 17, 2020
GPT-3の内部で一体何が起こっているかは定かではない。しかしどうやら、インターネット上の他の場所で見つけて記憶したテキストを合成し、何百万、何千万というテキストの断片で作られた巨大なスクラップブックのようなものを作り、要求に応じて、奇妙で素晴らしい方法でその断片を張り合わせるということが得意らしい。
This supports my suspicion that GPT-3 uses a lot of its parameters to memorize bits of text from the internet that don’t generalize easily https://t.co/I7uS4iu2sn
— Mark Riedl (best stuff @riedl@sigmoid.social) (@mark_riedl) July 19, 2020
オープンAIの業績を軽んじているわけではない。このようなツールには多くの新しい用途がある。例えば、コーディングを支援するためのより優れたチャットボットといった良い目的のものから、子供が宿題をごまかすのに使う、より巧妙ながせネタ作成ボットといった悪い目的のものまでだ。
しかし、AIの偉業が達成されたとき、その成果が過剰な期待に埋もれてしまうことはあまりにも多い。イーロン・マスクとともにオープンAIを創設したサム・アルトマンですら、熱狂を落ち着けようと試みた。「GPT-3の評判はあまりに盛り上がりすぎています(素敵なお誉めの言葉をありがとう!)。GPT-3は確かにすごいが、重大な欠点もあるし、かなり馬鹿げたミスを犯すこともあります。今後、AIが世界を変えるでしょうが、GPT-3はそのほんの前触れに過ぎません。これから解決していくべきことがまだまだ沢山あるのです」(アルトマン)。
知性を見分けることに関して、私たちが持つ判断基準は低い。何かが賢く見えると、本当に知性を持っているのだと簡単に思い込んでしまう。AIがこれまでにやってのけた一番すごい芸当は、世間を納得させたことだ。GPT-3は飛躍的進歩ではあるが、人間が作ったツールであることに変わりはなく、そのことに伴うあらゆる欠陥や制限も依然として存在するのだ。
Seeing so much on Twitter about GPT-3. Remember…
The Turing Test is not for AI to pass, but for humans to fail.
— Mark Riedl (best stuff @riedl@sigmoid.social) (@mark_riedl) July 18, 2020
- 人気の記事ランキング
-
- A skeptic’s guide to humanoid-robot videos すごすぎる人型ロボット動画、騙されないためのチェックポイント
- A new way to build neural networks could make AI more understandable ニューラルネットの解釈性を高める新アプローチ、MITなど提案
- What will AI mean for economic inequality? 主張:人手不足を補うAIがなぜ、経済格差を拡大するのか
- Ray Kurzweil: Technology will let us fully realize our humanity レイ・カーツワイル:テクノロジーがもたらす人間性の完全な実現
![](https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2020/06/07075238/will_heaven-2-150x150.png)
- ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者
- AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材しています。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ(Future Now)」の創刊編集長、ニュー・サイエンティスト(New Scientist)誌のテクノロジー統括編集長を務めていました。インペリアル・カレッジ・ロンドンでコンピュータサイエンスの博士号を取得しており、ロボット制御についての知識があります。