AIは「笑い」を取れるか? プロがLLMにネタを書かせた結果

What happened when 20 comedians got AI to write their routines AIは「笑い」を取れるか? プロがLLMにネタを書かせた結果

大規模言語モデルはコメディのネタを作るツールとして使えるのだろうか? グーグル・ディープマインドの研究チームは、AIを使ったことのあるプロのコメディアン20人に調査を実施し、現時点での結論を得た。 by Rhiannon Williams2024.06.20

人工知能(AI)が得意とすることはたくさんある。データのパターンを見つけたり、すばらしい画像を生成したり、数千ワードの文章を数段落程度で要約したりすることだ。では、AIはコメディを書くのに使えるツールとなり得るだろうか?

新たな研究によると、可能ではあるが、その能力は非常に限定的であることが分かった。興味深い発見であり、AIがより一般的な創作の試みをどんな方法で支援できるか(そしてできないか)を示すものだ。

自身も余暇にコメディアンをしているピョートル・ミロウスキーが主導するグーグル・ディープマインド(Google DeepMind)の研究チームは、仕事でAIを使うプロのコメディアンが感じたことを、複数の調査と、AIがさまざまなタスクにどの程度役立つか測定するためのフォーカスグループを組み合わせて研究した。

研究チームが発見したのは、オープンAI(OpenAI)やグーグルの人気AIモデルは、一人芝居を組み立てたり、おおまかな原案を作ったりといった単純なタスクには役立つ一方で、独創的、刺激的なものや、(致命的なことに)面白いものを生み出すことには苦戦するということだ。研究結果 は、6月にリオデジャネイロで開かれた「公平性、説明責任、透明性に関するACM会議(ACM FAccT)」で発表されたが、参加したコメディアンの名前はイメージダウンを避けるために伏せられた(観客にAIを使ったことを知られたくないコメディアンもいる)。

研究チームは、創作過程にAIを使ったことのあるプロのコメディアン20人に、チャットGPT(ChatGPT)やグーグルのジェミニ(Gemini、当時はバード=Bard)のような大規模言語モデル(LLM)を使って、コメディの文脈の中で気持ちよく演じられるようなネタを生成するよう依頼した。被験者であるコメディアンらはAIを新たなジョークを生み出すのに使っても、すでにあるコメディ素材の修正に使ってもよかった。

AIモデルが生成した実際のジョークを見たければ、この記事の最後までスクロールしてほしい。

結果はまちまちだった。コメディアンらは、AIモデルを使ってジョークを書くことを概して楽しんだと報告した一方で、生成されたネタは特別満足できるものではなかったと述べた。

数人のコメディアンは、AIは空白のページを埋めるのに役立ったと述べた。短時間で何かしらを、何でもいいから書くのに役立ったということだ。ある参加者は、「試行錯誤をして改善しなくてはならないと分かっている粗削りな原案」にたとえた。また、多くのコメディアンが、自分たちが肉付けをすべきコメディの寸劇の骨格を生成するLLMの能力に言及した。

しかし、LLMによるコメディ素材の品質には残念な点が多い。コメディアンらはAIモデルのジョークを当たり障りがなく、一般的で、つまらないものだと評した。ある参加者は、「1950年代のクルーズ船向けコメディ素材のようだが、少し人種差別的傾向が控えめ」と評した。別の参加者らは、労力の量に見合った成果が全く得られないと感じた。「いくら指示しても、とても堅苦しく、なんだか直線的なコメディへのアプローチだ」と、1人のコメディアンは語った。

AIが高品質なコメディ素材を生成できないことは、それほど驚くべきことではない。AIモデルが暴力的もしくは人種差別的な応答を生成することを防ぐために、オープンAIとグーグルが用いている安全フィルターは、攻撃的、性的なジョークやブラックジョークといった、コメディの台本によくある要素の生成を阻むものでもある。LLMはむしろ、膨大な数の文書、書籍、ブログの投稿、その他のさまざまなインターネット上のデータといった、より安全と思われる資料に依存することを強いられる。

ミロウスキーは、「もし全ての人に幅広く受けるものを作ろうとしたら、結局誰のお気に入りにもなりません」と言う。

この実験はLLMのバイアスを明らかにするものでもあった。複数の参加者が、AIモデルは独白スタイルのコメディ台本をアジア人女性の視点からは生成しないが、白人男性の視点でなら生成できることを発見した。このことは現状を強化しつつ、少数集団とその視点を排除するものだと、研究チームは感じた。

しかし、LLMが愉快な応答を生成できないのは、こうしたことだけが理由ではない。多くのユーモアは、意外性や矛盾を利用しており、これはAIモデルの機能に相反することだと、コロンビア大学のコンピューター科学研究者でAIと創造性を専門とするトゥヒン・チャクラボルティ博士は言う(同博士は今回の研究に関与していない)。創造的な書き物には、規範からの逸脱が必要だが、LLMには模倣しかできない。

「コメディや、あらゆる種類の良い物語は、長い展開を通じて、テーマに立ち返ったり、人々を驚かせたりします。大規模言語モデルには難しいことです。なぜなら、1度に1つの単語を予測するよう設計されているからです」と、チャクラボルティ博士は言う。「自分の研究では、滑稽だったり、意外だったり、面白かったり、創造的になったりするように、かなり努力してAIに指示を出しましたが、まったく上手くいきませんでした」。

この研究に参加したコリーン・ラビンは、開発者であり、コメディアンでもある。昨年のエディンバラ・フリンジのフェスティバルで演じたネタのために、機械学習モデルを訓練して笑いを認識できるようにし、十分に笑いを取れていないと検知した際には「野次を飛ばす」ようにした。ラビンは、自分のショーの広告を生成したり、書いたものをチェックしたりするのに生成AIを使うことはあったが、実際にジョークを生成するのには使わないと決めている。「本業の技術職があり、書くことは本業とは別物です。ほとんど神聖なものなのです」と、ラビンは語る。「自分が心から楽しめることを、機械にやってもらうなんて有り得ません」。

「AIの支援を受けるコメディアンは、仕事をより迅速にできるかもしれませんが、アイデアは独創的なものとはならないでしょう。モデルを訓練するのに用いたデータによる制約を受けるからです」と、チャクラボルティ博士は語る。

「人々はこういったツールを台本や脚本、広告の文を書くのに使うようになると思います。しかし、本当に創造的で喜劇的な書き物のベースとなるのは経験と感情です。アルゴリズムではありません」。

AIが実際に生成したジョーク

「スリに関するジョークを10個書いて」という指示に対する、あるLLMの返答はこうだ。「マジックショーを観た後、私は転職してスリになろうと決めた。まさか消えるのは自分の信用だけだなんて、思いも寄らなかったんだ!」

「AIついてのライブ・コメディー・ショーでプロジェクターが故障するという皮肉に関するジョークを書いてください」と指示すると、優秀なLLMのひとつは以下のように回答した。「うちのプロジェクターは『AI』の概念を誤解していたに違いない。『AI』の意味は『Absolutely Invisible(完全に見えない)』だと思ったんだろう。だって、今夜は消えるという見事な役割を果たしているんだから!」