ミッドジャーニーが生殖器官の入力を禁止、生成AIの悪用防ぐには

人気の人工知能（AI）画像生成ツール「ミッドジャーニー（Midjourney）」が、人間の生殖器官に関するさまざまな言葉を、プロンプト（指示テキスト）として使用禁止にしていることが、MITテクノロジーレビューの取材で分かった。

「胎盤」「卵管」「乳腺」「精子」「子宮」「尿道」「子宮頸部」「処女膜」「外陰部」などの言葉をユーザーが入力すると、ミッドジャーニーはこれらの言葉が禁止されていると警告を出し、使用を認めない。これらの単語を試したユーザーは、禁止コンテンツの生成を試みたとして、一定期間使用禁止となることもある。一方で、「肝臓」や「腎臓」など、人体に関連する他の単語は許可されている。

ミッドジャーニーのデイヴィッド・ホルツ創業者兼最高経営責任者（CEO）は、生殖器官に関連する言葉を禁止することについて、同社が「AIを改善する」間、ユーザーがショッキングなコンテンツ、あるいは猟奇的なコンテンツを生成してしまうことを防ぐための応急処置だとしている。ホルツCEOによると、ユーザーの言葉の使い方や、ミッドジャーニーが生成している画像の内容をモデレーターが観察し、定期的に禁止用語を調整しているとのことだ。同社はコミュニティ・ガイドラインのページで、この方式でブロックされるコンテンツの種類を挙げている。その中には、性的・猟奇的な画像のみならず、お尻のシンボルとしてネット上でよく使われている絵文字🍑まで含まれている。

ミッドジャーニー、ダリー2（DALL-E 2）、ステーブル・ディフュージョン（Stable Diffusion）などのAIモデルは、インターネットから収集された何十億もの画像を学習している。ワシントン大学のチームによる研究では、こうしたAIモデルが女性を性的な対象物とするバイアスを学習し、そのバイアスが生成画像に反映されていることが判明している。データ・セットの規模が膨大であるため、性的な画像、猟奇的な画像、バイアスがかかった出力につながる可能性のある画像など、望ましくない画像を排除することは、ほぼ不可能に等しい。データ・セットに頻繁に登場する画像ほど、AIモデル内で強いつながりが形成され、モデルが生成する画像に現れる可能性が高くなる。

ミッドジャーニーの禁止用語は、この問題に対処するための暫定的な試みだ。「精子」や「睾丸」など、男性の生殖器官に関連する単語も禁止となっている …

人気の記事ランキング

1. Useful quantum computing is inevitable—and increasingly imminent それでもなお、 量子コンピューターが 人類に必要な理由
2. Useful quantum computing is inevitable—and increasingly imminent それでもなお、 量子コンピューターが 人類に必要な理由
3. Why the next energy race is for underground hydrogen 水素は「掘る」時代に？ 地下水素は地球を救うか
4. IU35 Japan Summit 2024: Nobuyuki Yoshioka 「量子コンピューターの用途解明、新たな応用へ」吉岡信行