世界中に存在するさまざまな人工知能(AI)モデルの中でも、大衆の想像を最も掻き立てているのがオープンAI(OpenAI)の「GPT-3」だ。GPT-3はわずかな指示から詩や短編小説、曲などを作ることができ、人間が作ったものだと人々に信じさせることに成功している。しかしこの能力は真の知性と見紛うようなものというよりは、どちらかと言えば表面的なトリックだ。
それでも研究者らは、GPT-3の開発に用いられた手法に、より高度な人工知能(AI)を実現するための秘密が隠されているのではないかと考えている。GPT-3は膨大な量のテキストデータを用いて訓練されている。もし同じ手法を用いて、テキストと画像の両方で訓練したらどうなるのだろうか?
アレン人工知能研究所(Allen Institute for Artificial Intelligence)の新たな研究は、このアイデアを次のレベルへと推し進めた。同研究所の研究者らは、キャプション(写真などに添えられた説明文)を与えられると、それに該当する画像を生成する新たな「テキスト画像モデル」、あるいは「視覚言語モデル」とも呼ばれるものを開発した。生成された画像は不安を掻き立てられるおぞましい代物で、「敵対的生成ネットワーク(GAN)」が作り出す本物と見紛うようなディープフェイクとは全く異なるものだ。だが、この研究は、より一般化可能な知性、そしてより賢いロボットの実現に向けて、期待の持てる新たな方向性を示している可能性がある。
空白を埋める
GPT-3は、「トランスフォーマーズ」と呼ばれるモデルグループの一部で、グーグルの「バート(BERT)」の成功によって知名度が高まった。BERT以前の言語モデルはひどい代物だった。オートコンプリート機能のようなアプリケーションで使い物になる程度の予測力は備えていたが、文法や一般常識に沿った長文を生成するだけの能力はなかった。
BERTは「マスキング」と呼ばれる新しい手法を導入することでこれを変えた。マスキングは、文章内のさまざまな単語を隠して、言語モデルにその空白を埋めさせる手法である。たとえば以下のような文章だ。
このモデルに対して訓練を繰り返し実施すると(多くの場合数百万回)、単語がどのように組 …
- 人気の記事ランキング
-
- Who’s to blame for climate change? It’s surprisingly complicated. CO2排出「責任論」、単一指標では語れない複雑な現実
- Exosomes are touted as a trendy cure-all. We don’t know if they work. 「奇跡の薬」エクソソーム、 効果不明も高額治療が横行
- Who’s to blame for climate change? It’s surprisingly complicated. CO2排出「責任論」、単一指標では語れない複雑な現実
- Exosomes are touted as a trendy cure-all. We don’t know if they work. 「奇跡の薬」エクソソーム、 効果不明も高額治療が横行