この記事は米国版ニュースレターを一部再編集したものです。
過去10年間で巨大テック企業は、言語、予測、パーソナライゼーション、アーカイブ、テキスト解析、データ処理など、ある分野では非常に優れた功績を残してきた。だが、有害なコンテンツを検出し、ラベル付けをし、削除することに関しては今でも驚くほど不得手なままだ。それが引き起こす現実世界の被害を理解するには、過去2年間、米国で選挙とワクチンに関する陰謀論が拡散されたことを思い起こすだけで十分だろう。
そして、この矛盾はいくつかの疑問を浮かび上がらせる。テック企業はなぜコンテンツ・モデレーションを改善しないのか。改善を強制できるのか。そして、人工知能（AI）の新たな進歩により、悪質な情報を検出する能力は向上させられるのか。
テック企業は、憎悪や誤った情報の拡散について説明するよう議会に召喚された場合、自分たちの至らなさの理由を言語特有の複雑さのせいにする傾向がよくある。メタ、ツイッター、グーグルの幹部は、大規模かつさまざまな言語で語られる文脈依存のヘイト・スピーチを解釈するのは困難だと述べている。マーク・ザッカーバーグが繰り返したお気に入りの台詞の1つが、世界のあらゆる政治問題の解決をテック企業に負わせるべきではないというものだ。
現在ほとんどのテック企業のコンテンツ・モデレーションは、テクノロジーと人間のコンテンツ・モデレーター（薄給からも分かるように、その仕事は過小評価されている）との組み合わせで実施されている。
例えば、フェイスブック。プラットフォーム上から削除されたコンテンツの97％はAIが見つけ出したものだ。
だが、AIはニュアンスや文脈の解釈があまり得意ではない、とスタンフォード・インターネット観測所（Stanford Internet Observatory）のレネー・ディレスタ研究部長は言う。従って、人間のコンテンツ・モデレーターを完全にAIに置き換えることはできず、かといって、人間もそうした解釈が必ずしも得意なわけではないと話す。
また、文化的な背景や言語によっても問題が生じる。というのも、自動コンテンツ・モデレーション・システムの大部分は英語のデータで訓練されており、他の言語ではうまく機能しないからだ。
カリフォルニア大学バークレー校情報大学院のハニー・ファリド教授は、もっと明確な解釈を示す。「コンテンツ・モデレーションが脅威に追いつけないのは、それがテック企業の経済的利益にならないからです。要するに、拝金主義なのです。この問題がお金以外にあるフリをするのはやめましょう」。
そして、米国では連邦政府による規制が存在しないため、ネットいじめの被害者がプラットフォームに対して金銭的責任を問うことは非常に難しい。
コンテンツ・モデレーションは、テック企業と悪意ある者との終わりなき戦いだ。テック企業はコンテンツを規制する規則を打ち出すが、悪意ある者は検閲をかい潜るために絵文字を使ったり、故意にスペルミスをしたりして投稿するといった手段を使って規制をすり抜ける方法を見つけ出す。そして企業は抜け穴を塞ごうとし、悪意ある者は新たな抜け穴を見つけるといったことが延々と繰り返される。
今や大規模言語モデル時代
コンテンツ・モデレーションは、現状でも十分に難しい。だが、生成AI（ジェネレーティブAI）やチャットGPT（ChatGPT）のような大規模言語モデルの出現より、たちまちもっと難しいことになりそうなのだ。例えば、自信満々に物事をでっち上げ、それを事実として提示する傾向が、このテクノロジーにはあるからだ。しかし、1つはっきりしているのは、AIは言語がだんだんと上達しているということだ。それも、想像以上に、である。
では、大規模言語モデルがコンテンツ・モデレーションにとって何を意味するのか。
ディレスタ研究部長もファリド教授も、この先どう展開するかを判断するのは時期尚早だとしながらも警戒心を抱いている。GPT-4やバード（Bard）のような大規模システムの多くには、コンテンツ・モデレーションのフィルターが組み込まれてはいるものの、それでも、ヘイト・スピーチや爆弾の作り方の説明といった望ましくない出力を生み出すよう誘導される可能性はある。
生成AIは、悪意ある者がこれまでよりもさらに大規模かつ迅速に説得力ある偽情報キャンペーンを展開できる可能性がある。とりわけ、AI生成のコンテンツを識別してラベル付けする方法が極めて不十分であることを考えれば、これは恐ろしい予想だ。
だが、裏を返せば、最新の大規模言語モデルはテキストを解釈することにおいて、これまでのAIシステムよりもはるかに優れている。理屈で言えば、自動コンテンツ・モデレーションを強化するために使える可能性があるということだ。
しかし、それを実現させるには、テック企業は特定の目的に合わせて大規模言語モデルの再構築をするための投資が必要になる。マイクロソフトのようにその研究を始めている企業もあるが、これまでのところ目立った動きは見られない。
「コンテンツ・モデレーションを改善するのに使える技術的な進歩は数多く見られますが、実際に改善されるかどうかは懐疑的です」（ファリド教授）。
大規模言語モデルはいまだに文脈に苦戦しており、おそらく人間のモデレーターほど投稿や画像のニュアンスを解釈できないだろう。また、さまざまな文化圏での拡張性や特異性という点でも疑問が生じる。「特定のどのようなニッチな分野に対しても1つのモデルで対応するのでしょうか。国別に展開するのでしょうか。コミュニティ単位にするのでしょうか。（中略）画一的に対応できる問題ではないのです」（ディレスタ研究部長）。
新たなテクノロジーのための新たなツール
生成AIが最終的にネット情報領域にとって有害となるか有益となるかは、AI生成によるコンテンツかどうかを人間が判別できるような優れたツールをテック企業が開発し、それを広く普及させられるかどうかに大きくかかっている。
かなり技術的な難題であり、ディレスタ研究部長は合成メディアの検出が優先事項になるだろうと話す。合成メディアの検出には添付されたコンテンツがAIによって作られたことを示す、一種の永久的なマークとして機能するコードを埋め込む電子透かしという方法も含まれる。また、AIによって生成または処理された投稿を検出するための自動ツールは、電子透かしとは異なり、AI生成コンテンツの作成者が前もってそのようなラベル付けをする必要がないという点が魅力だ。とはいえ、これを実現しようとしている現在のツールは、機械で生成されたコンテンツを識別する能力に特に優れているというわけではない。
一部の企業は、数学を利用してコンテンツの生成方法などの情報を安全に記録する暗号署名を提案している。しかし、電子透かしのように、自主的な開示という手法に依存することになる。
欧州連合（EU）の最新版のAI法案（AI Act）では、生成AIを使用する企業に対し、コンテンツが実際に機械によって生成されたものであることをユーザーに通知するように義務づけている。AI生成コンテンツの透明性を求める声が高まるにつれ、この種の新たなツールに関して、今後何カ月間はもっと耳にすることになるだろう。
◆
テック政策関連の注目動向
- EUでは、公共の場での顔認証と予測捜査アルゴリズムの禁止がすぐにでも実現するかもしれない。もしこの禁止法案が通れば、ここ数カ月、勢いを失っている米国の顔認証反対運動にとって大きな励みとなるだろう。
- オープンAI（OpenAI）のサム・アルトマン最高経営責任者（CEO）は、超党派の夕食会に招かれた翌日の5月16日に開催される、AI監視に関する公聴会の一環として米議会で証言する予定だ。米国の議員たちがどれだけAIに精通しているのか、そしてこの公聴会から何か具体的な成果が得られるのか楽しみにしているが、私はそれほど期待しているわけではない。
- 5月第二週末、中国警察はチャットGPTを使ってフェイクニュースを拡散したとして男性を逮捕した。中国は2月に、生成AIの使用に関する一連の厳格化した法律の一環として、チャットGPTを禁止した。今回の逮捕は、それが適用された初めてのケース。
テック政策関連の注目研究
誤情報は社会にとって大問題だが、それを支持する人々は想像以上に少数のようだ。オックスフォード・インターネット研究所（Oxford Internet Institute）の研究者たちが、テレグラム（Telegram）の投稿20万件以上を調査したところ、誤情報はよく投稿されるものの、ほとんどのユーザーはそれを拡散していないことを発見した。
「一般的な常識に反して、誤情報を支持するのは一般大衆ではなく、小規模かつ活発なユーザー・コミュニティである」と研究論文は結論づけている。テレグラムは比較的モデレーションがゆるいほうだが、おそらく政府機関が主導して悪質な情報の抑制を要請した効果が、ある程度認められるとこの研究は示している。