ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減

自然言語処理におけるAI研究の主流となっている大規模言語モデルには、訓練に膨大な計算能力を必要とするという欠点がある、ディープマインドは外部メモリーを辞書として活用することで、訓練に要するコストを大幅に下げられるモデルを発表した。 by Will Douglas Heaven2021.12.13

オープンAI（OpenAI）が言語モデルの「GPT-3」を公開してからの2年間に、著名な人工知能（AI）研究機関の多くがGPT-3を模倣した独自のモデルを開発してきた。グーグル、フェイスブック、マイクロソフト、そして少数の中国企業が、説得力のあるテキストの生成、人間相手のチャット、質問への回答などが可能なAIを構築した。

こうしたモデルは、大規模なニューラル・ネットワークがベースになっていることから「大規模言語モデル」と呼ばれている。今やAIの主流トレンドとなった大規模言語モデルは、高い言語能力を機械に持たせられるという強みと同時に、AIの弱点をも明らかにした。AIに内在するバイアスや、持続不可能なほど膨大になった計算能力は、特に注目すべき弱点だ。

英国に本拠を置き、「アルファゼロ（AlphaZero）」や「アルファフォールド（AlphaFold）」など、AI分野におけるいくつかの偉業の立役者となってきたディープマインド（DeepMind）はこれまで、大規模言語モデルを開発していないという点で異彩を放つ立場にあった。しかし、そのディープマインドが12月8日に、言語モデルに関する3つの大規模研究を発表し、大規模言語モデルをめぐる議論に加わった。ディープマインドの成果で特筆すべき点は、ひねりを加えたAI、つまりAIに外部記憶装置を取り付けて機能を強化するというアイデアだ。記憶装置には膨大な量のテキストの文節がデータベースとして格納されており、AIはそれをカンニングペーパーのように使って新しい文章を作る。

「リトリーバル・エンハンスド・トランスフォーマー（RETRO：Retrieval-Enhanced Transformer）」と呼ばれるこのAIの性能は、25倍の規模のニューラル・ネットワークを有するモデルに匹敵する。つまり、巨大なモデルの学習に必要な時間とコストを削減できるということだ。ディープマインドの研究者らはさらに、データベースを取り付けたおかげでAIが学習した内容の分析がしやすくなり、バイアスや暴言を取り除くのが容易になるかもしれないと主張している。

「言葉を全部記憶しておくよりも、臨機応変に辞書を引くほうが有利な場合は多いものです。人間と同じですね」と、ディープマインドの大規模言語モデル研究を主導するジャック・ラエは語る。

言語モデルは、文章や会話の中で次に来る言葉を予測することでテキストを生成する。モデルが大規模になるほど、訓練によって世界についての情報をより多く吸収できるよう …

こちらは会員限定の記事です。 メールアドレスの登録で続きを読めます。

有料会員にはメリットがいっぱい！

毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
重要テーマが押さえられる。
各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。

【冬割】実施中！年間購読料20％オフ！

人気の記事ランキング