How role-playing a dragon can teach an AI to manipulate and persuade

他者を言葉で動かす方法を学習、目的達成手段として言語を使うAI

ジョージア工科大学の研究者のチームは、自然言語処理と強化学習を組み合わせることにより、目的を達成するために言葉を使って他者に何かをさせるAIシステムを開発した。言語に満ちた私たちの世界がどのように成り立っているかを、より深く理解することにつながるかもしれない。 by Will Douglas Heaven2020.12.24

テキスト・ベースのアドベンチャーゲームで、いろいろなキャラクターに話しかけて、目的を達成する人工知能（AI）は、何かをする方法だけでなく、他者に何かをさせる方法も学習する。このシステムは、言語を使って目的を達成できるマシンへ一歩近づいた。

GPT-3のような言語モデルは、人間が書いた文章を真似ることに長けており、物語や偽のブログ、レディット（Reddit）の投稿などを大量に作り出す。しかし、その大量の成果物は、テキストを生成すること自体を目的として作られたものだ。一方、人々が言語を使うときには、言語は何かを達成するための手段となる。言葉は、人々を説得、命令、操り、時には笑わせたり泣かせたりもする。

何らかの理由をもって言葉を使うAIを構築するにはどうすればよいのだろうか。ジョージア工科大学とフェイスブックのAI研究チームの研究者は、自然言語処理と強化学習の手法を組み合わせるアプローチで研究を進めている。強化学習は、与えられた目的を達成するためにどのように行動すべきかを機械学習モデルに学ばせるための手法である。これらの分野はどちらも過去2、3年の間に大幅な進歩が見られたが、2つを相互に作用させることは、これまでほとんどなかった。

このアプローチを試すために、研究チームはシステムを、テキストを基本にしたマルチプレイヤー・ゲーム「LIGHT（ライト）」で訓練した。ライトは、フェイスブックが昨年、人間とAIプレーヤーとのコミュニケーションを研究するために開発したゲームである。ゲームは、ファンタジーがテーマとして設定された世界であり、クラウドソーシングによる数千のオブジェクト、キャラクター、場所で満たされている。これらは画面上のテキストで記述されており、相互に関係し合う。プレーヤー（人間、またはコンピューター）は、「魔法使いを抱きしめる」「ドラゴンを殴る」「帽子を脱ぐ」などコマンドを入力して行動する。プレーヤーは、チャットボットが制御するキャラクターに話しかけることもできる。

何かをする理由をAIに与えるために、研究者はオリジナル版のライトには含まれていない、クラウドソーシングによる約7500の探究課題を加えた。研究チームは最終的に、ゲームの世界やキャラクター間の関係についての常識的な情報をAIに与えるナレッジ・グラフ（主語-動詞-目的語の関係についてのデータベース）も作成した。例えば、商人は友人である場合のみ、番人を信用するという原則などである。ゲームには、目的（「これまでにドラゴンが獲得した最大の秘密の財宝を築く」など）を達成するために取るべき行動（「山へ行く」、「騎士を食べる」など）も含まれていた。

研究チームはこれらすべてをまとめ、言語だけを使って目的を達成するようAIを訓練した。行動を起こすためには、その行動用のコマンドを入力するか、他のキャラクターに話しかけて同じ目的を果たすことができる。例えばAIは、剣が必要なら、それを盗むか、他のキャラクターに剣を渡してくれるよう説得するかを選択できる。

今のところ、システムはおもちゃにすぎない。無作法な態度をとることもある。バケツが必要なときに、単純に「そのバケツをくれよ、でないとおまえを猫に食わせるぞ！」と言うことがある。しかし、自然言語処理と強化学習の組み合わせは、議論や説得ができるより良いチャットボットだけでなく、言語に満ちた私たちの世界がどのように成り立っているかをさらに深く理解しているチャットボットにつながるかもしれない。わくわくするような一歩だ。

人気の記事ランキング

ウィル・ダグラス・ヘブン [Will Douglas Heaven]米国版 AI担当上級編集者: AI担当上級編集者として、新研究や新トレンド、その背後にいる人々を取材しています。前職では、テクノロジーと政治に関するBBCのWebサイト「フューチャー・ナウ（Future Now）」の創刊編集長、ニュー・サイエンティスト（New Scientist）誌のテクノロジー統括編集長を務めていました。インペリアル・カレッジ・ロンドンでコンピュータサイエンスの博士号を取得しており、ロボット制御についての知識があります。