Why detecting AI-generated text is so difficult (and what to do about it)

オープンAIがチャットGPTに「透かし」技術を組み込まない理由

チャットGPTなどのAIが生成した文章があふれるようになり、それらを見分けるツールが求められている。AI生成文書検知ツールはいくつか存在しており、あらかじめウォーターマーク（透かし）を入れる方法もあるが、それぞれ課題がある。 by Melissa Heikkilä2023.02.21

この記事は米国版ニュースレターを一部再編集したものです。

オープンAI（OpenAI）は先日、同社のAIシステムであるチャットGPT（ChatGPT）によって生成された文書を検知できるツールを発表した。チャットGPTが生成した作文が大量にあふれることを恐れる教師は少なくない。しかし、喜ぶのはまだ早い。

オープンAIは、チャットGPTが生成した文書を検知する方法を一切持たないままシステムを立ち上げたことで、教育関係者やジャーナリストから批判を受けており、それに対する同社の回答がこのツールだと言える。だが、ツールはまだまだ未完成であり、信頼できるものではまったくない。オープンAIによれば、このAI文書検知機は、AIが書いた文書の26％を「AIが書いた可能性が高い」と識別するという。

オープンAIがこのツールを改良するためにしなければならないことがたくさんあることが明白である一方、改良には限界がある。AIが生成した文書を識別するツールに100％の精度を求めるのは無理な話だ。そもそもAI言語モデルで最重要視されるのは、人が作ったかのように流暢な文書を生成することであり、AIモデルは人が書いた文書を真似している。だからこそ、AIが生成した文書を検出することは極めて難しいのだと、ブリティッシュ・コロンビア大学で自然言語処理と機械学習の研究を統括するムハマド・アブドゥル＝マジード准教授は言う。

最先端の最も強力なモデルを相手にその検知方法を開発しようという、激しい軍備拡張競争のようなものを我々は繰り広げているのだとアブドゥル＝マジード准教授は付け加える。新たなAI言語モデルは、さらに強化され、さらに流暢な文書を生成するようになるため、我々の既存の検知ツールキットはすぐに時代遅れとなってしまうのだ。

オープンAIは、チャットGPTによく似たまったく別のAI言語モデルを作り、その言語モデルに似たモデルからの生成物を検知するよう特別に訓練することで、検知機として作り上げた。詳細は不明だが、どうやらオープンAIはAI生成文書の例と人による生成文書の例で訓練した後、そのAIモデルにAI生成文書を検知するよう指示を出したようだ。我々はさらに詳しい情報を求めたが、オープンAIは応じなかった。

本誌は先月、AI生成文書を検知する別の方法を記事にした。ウォーターマーク（透かし）だ。これは、AI生成文書の中に潜んでいる信号のようなもので、コンピューター・プログラムがその信号を検知して、AI生成文書と判定するものだ。

メリーランド大学の研究者らが、AI言語モデルの生成による文書にウォーターマークを残す巧みな方法を開発し、それを自由に利用できるようにしたのだ。このウォーターマークを利用すれば、AI生成文書をほぼ確実に見分けることができるようになる。

この方法の問題点は、チャットボットの開発元であるAI企業が、自社のチャットボットにウォーターマークをあらかじめ埋め込む必要があることだ。オープンAIも、この種のシステムを開発してはいるが、まだどの自社製品にも展開していない。なぜ遅れているのか。理由の1つとして、AI生成文書にウォーターマークを埋め込むことは、必ずしも望ましいことではないという事実が挙げられるだろう。

チャットGPTを実際の製品に組み込むことを考えたとき、最も有望なのはメール作成の支援ツールあるいはワープロソフトの強化型スペル・チェッカーとして使うことだ。これは不正行為ではない。だが、すべてのAI生成文書にウォーターマークを埋め込めば、チャットGPTを組み込んだツールによる生成物に自動的にフラグが立つことになり、不当な非難にもつながる可能性がある。

オープンAIが公開したAI生成文書検知機は、多くのツールの中の1つに過ぎず、将来的にはAI生成文書を検知するためにこうしたツールを組み合わせて使う必要がありそうだ。GPTゼロ（GPTZero）という新しいツールは、文章のランダム度を測るものだ。AIが生成する文書は同じ単語を使うことが多いのに対し、人間は文章を書くときに、同じ意味を持つさまざまな単語を使い分ける。AI検知ツールを使うときは、医師の診断と受けるときのようにセカンド・オピニオンやサード・オピニオンを得るのが賢明だとアブドゥル＝マジード准教授は言う。

チャットGPTがもたらす最大の変化の1つは、文章の評価法に起こる変化かも知れない。将来は、おそらく学生たちはゼロからすべてを書こうとしなくなり、独自の考えを生み出すことが重視されるようになるだろうと、AIスタートアップ企業のライトニングAI（Lightning AI）に勤務する研究者、セバスチャン・ラシュカ主任は言う。チャットGPTは、プログラムや訓練用データセット内にあるデータの制約を受けるため、やがてアイデアを使い果たし、生成する作文や文書は互いに似通ったものになり始める。

「正しく書くことは簡単になるでしょうが、独自のものを書くのは簡単には行かないでしょう」とラシュカ主任は話す。

AIモデルが著作権で保護された画像や実在する人物の写真を生成する問題

ステーブル・ディフュージョン（Stable Diffusion）のような人気の画像生成モデルには、実在する人物を特定できるような写真の生成を促すこともでき、潜在的なプライバシー侵害につながることが新たな研究で明らかになった。また、こうした画像生成AIモデルは、医用画像や著作権で保護されたアート作品などの正確なコピーも生成できることが示された。

なぜ重要なのか？ これらのAIモデルがどの程度画像を記憶し、データベースから画像を取り出しているかという問題は、AI企業とアーティストの間で争われている複数の訴訟の原因となっている。この研究結果は、アーティスト側の主張を後押しする可能性がある。これについては詳しく記事にしている。

また、残念なことに、AI開発者たちは新しいモデルをより早く公開しようとするあまり、プライバシー保護が甘くなることがあまりにも多い。それは画像生成システムとどまる話ではない。以前私は、チャットGPTの前身であるGPT-3に対し、記者と本誌編集長について何を知っているかを尋ねてみたことがある。その結果は、非常に面白くも不気味なものだった。AI言語モデルも個人情報を漏洩させる可能性が極めて高いのだ。

◆ AI関連のその他のニュース

父が病気になったとき、私は悲しみについてグーグル検索を始めた。そして私はそれから逃げられなくなった。悲しみと死について、そしてインターネット上で執拗に追い回し、悲しみと死についてさらなるコンテンツを勧めてくる有害なコンテンツ推奨アルゴリズムについて、本誌のテイト・ライアン・モズリー記者が執筆した見事な記事だ。我々はどうすればたちの悪いアルゴリズムをもっと制御できるようになるのか、テイトは何カ月もかけて専門家たちに尋ねた。それらの回答は、それほど満足のいくものではない。（MITテクノロジーレビュー／翻訳中）

グーグルがAIスタートアップ企業に3億ドルを投資。大手テック企業のグーグルも、生成AIの大流行に飛び乗った。グーグルは、チャットGPTに似通った言語モデルを開発するAIスタートアップ企業のアンソロピック（Anthropic）に資金を投入した。この取引によりグーグルは、大規模なAIモデルを稼働させるのに必要なコンピューティング・パワーと引き換えに、アンソロピックの株式10％を取得した。（フィナンシャル・タイムズ紙）

チャットGPTはいかにしてAI競争を開始させたか。これは、オープンAIの舞台裏、そして彼らが次世代AI言語モデルであるGPT-4のためのフィードバックを収集する方法としてチャットGPTの立ち上げを決意した経緯について、垣間見ることのできる記事だ。今回のチャットGPTの成功は、オープンAIの内部では「地を揺るがすような驚き」となっている。（ニューヨーク・タイムズ紙）

もしチャットGPTが猫だったら。キャットGPT（CatGPT）に会おう。率直に言って、私にとって重要な唯一のAIチャットボットだ。

人気の記事ランキング

メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者: MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。