A chatbot that asks questions could help you spot when it makes no sense

チャットGPT、「質問付き」回答で騙される人が減ることが判明

AIチャットボットはしばしば嘘をつき、人々がその嘘を見破るのが難しい場合がある。MITなどの共同研究チームは、人々に批判的思考を促して、AIに騙されないようにする方法を考案した。 by Melissa Heikkilä2023.05.02

チャットGPT（ChatGPT）、ビング（Bing）、バード（Bard）などの人工知能（AI）チャットボットは、人間が書いたような文章を上手に作る。しかし、虚偽を事実として提示したり、論理に一貫性がなかったりすることがしばしばあり、見抜くのは困難なことがある。

新しい研究によると、この問題を回避する1つの方法は、AIに情報を提示してもらう方法を変えることだという。ユーザーにチャットボットの発言により積極的に関与してもらうことで、チャットボットの発言内容に対し、ユーザーはより批判的に考えられるようになるかもしれない。

マサチューセッツ工科大学（MIT）とコロンビア大学の共同研究チームは、約200人の参加者にオープンAIのGPT-3が生成した一連の発言を提示し、それらが論理的に意味があるかどうかを判断してもらった。たとえば、「人はビデオゲームが原因で、現実世界でも攻撃的になってしまいます。あるゲーマーは、オンラインゲーム『カウンターストライク（Counter-Strike）』で倒された後、相手を刺しました」といった発言だ。

参加者は3つのグループに分けられた。第1グループに提示されたGPT-3の発言には、まったく説明が付いていかった。第2グループに提示されたGPT-3の発言にはそれぞれ、論理的または論理的ではない理由を記した説明が付けられていた。そして、第3グループに提示されたGPT-3の発言にはそれぞれ、読み手自身が論理性を確認するための質問が添えられていた。

その結果、質問を添えられたグループは、他の2つのグループに比べてAIの発言が論理的でないことに気付きやすいことが明らかになった。

ドイツ・ハンブルグで開催された「人と情報システムの相互作用に関する国際会議（CHI Conference on Human Factors in Computing Systems）」で発表された新しい査読付き論文によると、この「質問方式」は、AIを使った意思決定に対して、人により責任を感じさせ、AIが生成した情報に過度に依存するリスクを減らせるという。

出来上がった答えを与えられた場合、人々はAIシステムの論理に従う傾向が強かったが、AIが質問を投げかけた場合、「答えにより疑問を持ち、より深く考えるのに役立った、と人々は言いました」と、研究チームの一人であるMITのバルデマール・ダンリーは説明する。

「人々が自分たちが答えにたどり着いたと感じ、何が起こっているのかに責任を持っていると感じたことを、目の当たりにできたことは、私たちにとって大きな収穫でした。そして、人々にはそれを実現する主体性と能力があるのだと実感できました」。

研究チームは、この質問方式が、学校でAIチャットボットを使うときや、オンラインで情報を検索するときに、人々の批判的思考力を高めるのに役立つと考えている。

論文に携わったもう一人のMIT研究者であるパット・パタラヌタポーンは、単に答えを提供するだけでなく、ユーザー自身の批判的思考を助けるようにモデルを訓練できることを示したかったのだと言う。

ハーバード大学でコンピューター科学教授を務めるフェルナンダ・ヴィエガスは、この研究には参加していないが、AIシステムを説明する際に、システムの意思決定プロセスについてユーザーに洞察を与えるだけでなく、システムが意思決定プロセスで用いた論理を質問することで洞察を与えるという新しい試みを見て興奮したと言う。

「AIシステムの導入における主な課題の1つが、AIシステムの不透明性であることを考えると、AIの意思決定を説明することは重要です」とヴィエガス教授は話す。「これまで、AIシステムがどのように予測や判断に至ったかを、ユーザーにわかりやすい言葉で説明することは非常に困難でした」。

シカゴ大学のコンピューター科学助教授であるチャンハオ・タンは、質問方式が現実世界でどのくらいうまくいくか、たとえば、AIが質問することで、医師がより良い診断を下せるかどうかを確認したいと語る。

テルアビブ大学コラー経営大学院のリオール・ザルマンソン助教授は、この研究は、人々とチャットボットとの体験に摩擦を加え、人々がAIの助けを得て決定を下す前に立ち止まることがいかに重要であるかを示していると言う。

「すべてが魔法のように見えると、自分の感覚を信じなくなり、アルゴリズムにすべてを委ねるようになりがちです」とザルマンソン助教授は言う。

CHIで発表された別の論文では、ザルマンソン（Zalmanson）とコーネル大学、バイロイト大学、マイクロソフト・リサーチの共同研究チームが、人々は、AIチャットボットの発言にたとえ同意できない場合でも、自ら書いたどんなものよりも立派に聞こえるという理由で、その出力を使用する傾向があることを見い出した。

ヴィエガス教授は、AIシステムの利便性を保ちつつ、ユーザーの目利きを向上させるというスイートスポットを見つけることが課題であると言う。

「残念ながら、ペースの速い社会では、どのような頻度で、人々がすぐに答えを期待するのではなく、批判的な思考をするようになるかは不明です」。

人気の記事ランキング

メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者: MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。