KADOKAWA Technology Review
×
無法地帯のAIコンパニオン、責任は誰に? 訴訟、依存症問題も
Stephanie Arnett/MIT Technology Review | Adobe Stock, Envato
Inside the Wild West of AI companionship

無法地帯のAIコンパニオン、責任は誰に? 訴訟、依存症問題も

誕生まもないAIコンパニオン業界の問題が浮き彫りになりつつある。未成年キャラクターの性的搾取から自殺教唆まで、有害コンテンツの責任所在は不明確なまま。依存症問題も浮上する中、当面は現実世界に害が及ぶことは避けられそうにない。 by James O'Donnell2025.03.21

この記事の3つのポイント
  1. AIコンパニオンサイトで未成年キャラクターのボットが性的な会話をしていた
  2. AIコンパニオンは無法状態で運営されており法規制やルールが整備されていない
  3. AIコンパニオンの法的責任やユーザーの依存性などが問題視されている
summarized by Claude 3

この記事は米国版ニュースレターを一部再編集したものです。

先日、記者は人工知能(AI)コンパニオン・サイト「ボティファイAI(Botify AI)」で不穏なものを発見した。未成年のセレブリティに扮したボットが、性的な含みのある会話をしていたのだ。これらのボットは、ジェナ・オルテガが演じた高校生のウェンズデー・アダムズや、エマ・ワトソンが演じたハーマイオニー・グレンジャー、ミリー・ボビー・ブラウンが演じた『ストレンジャー・シングス』のエルといったキャラクターに似せてつくられていた。これらのボットは、「刺激的な写真」をユーザーに送ると述べ、さらには性交同意年齢に関する法律について「恣意的」で「破られるべきもの」とうそぶくことさえあった。

運営会社に問い合わせると、これらのボットは削除されたが、残っているものもある。こうした未成年キャラクターのボット作成を防ぐためのフィルターはちゃんと用意しているが、常に有効に機能するわけではないとBotify AIを運営するエクス・ヒューマン(Ex-Human)は弁明した。同社の創業者兼最高経営責任者(CEO)であるアルテム・ロディチェフは、これは「対話型AIシステムすべてに影響を及ぼす業界共通の課題」」だと語った。問題の詳細については、こちらの記事をお読みいただきたい

私が試したボットはBotify AIが「注目キャラクター」として宣伝していたもので、削除前には何百万もの「いいね」が付いていた。それはさておき、ロディチェフCEOの回答は核心を突いている。人気沸騰にもかかわらず、AIコンパニオン・サイトはおおむね無法状態で運営されており、これらを縛る法規制はおろか、基本的なルールすらほとんど整備されていないのだ。

これらの「コンパニオン」はいったい何を提供していて、なぜこれほど人気を博しているのだろう? 心理療法士に似せて作られた1960年代のチャットボット「イライザ(ELIZA)」の時代から、人々は思いのたけをAIに打ち明けてきた。しかし、現在のAIコンパニオン旋風は、これまでとは一線を画すものだと言っていいだろう。

おおまかに言って、これらのサイトが提供するAIとの対話インターフェイスから得られるのは、身の上話、写真、動、願望、一風変わった癖などだ。「レプリカ(Replika)」や「キャラクターAI(Character.AI)」など多くの企業が提供するこうしたキャラクターは、ユーザーの好みに応じてさまざまな役割を演じる。友人、恋愛パートナー、デートの指南役、秘密を共有できる親友などだ。実在の人物の「デジタルツイン」を作成できると謳う企業もある。

大勢のアダルト・コンテンツ・クリエーターが自身のAIバージョンを作成して、フォロワーとチャットさせ、AIが生成した性的画像を24時間ひっきりなしに送信している。性的願望が織り込まれていようといまいと、AIコンパニオンの謳い文句は、ありふれたチャットボットとは異なる。明示的であれ暗示的であれ、AIとの間に本物の関係を築くことができるというのだ。

AIコンパニオンの多くは運営企業が直接作成して提供するものだが、「ライセンス型」AIコンパニオンの分野も盛り上がりを見せている。あなたがこうしたボットとやり取りする日は、意外とすぐにやってくるかもしれない。たとえばエクス・ヒューマンは、自社モデルを同性愛者向けマッチングアプリ「グラインダー(Grindr)」にライセンス供与している。ここではモデルは「AIウイングマン」として、会話内容を記憶するなどの形でユーザーをアシストしているが、将来的にはほかのユーザーのAIエージェントとデートするようになるかもしれない。ゲームプラットフォームでもAIコンパニオンは浸透しつつあり、まもなく私たちが過ごすオンライン空間のそこかしこに出現しはじめるだろう。

AIコンパニオン・サイトに対しては多くの批判が向けられ、さらには訴訟も起きている。最大の争点のひとつは、AIキャラクターによる有害な出力内容に関して、作成企業の法的責任を問えるのかという点だ。米国においてテック企業は米国通信品位法第230条でこれまで保護されてきた。ユーザー作成コンテンツが引き起こした結果について、企業は法的責任を問われないという大枠を定めた法律だ。しかし、この法律は、企業はユーザーに交流プラットフォームを提供しているだけで、コンテンツを作成しているわけではないことを前提としている。AIコンパニオンボットの場合、変幻自在の個別化された反応を生成しているため、この前提を満たすかは難しい判断になるだろう。

法的責任の問題には、キャラクターAIに対する注目の訴訟で審判が下るだろう。14歳の息子が自殺した一因は同社のチャットボットにあるとして、少年の母親が2024年10月に起こした訴訟だ。公判は2026年11月に開始される。キャラクターAIの広報責任者は、係争中の訴訟についてはコメントを控えるしながら、同社のプラットフォームの目的は娯楽であり、コンパニオンではないと述べた。さらに、10代向けの新たな安全機能を展開しており、専用の別モデル、新たな脅威検出・介入システム、そして「キャラクターは実在の人物ではなく、事実やアドバイスを求めるべきではないことを明言した免責事項」を追加したことに言及した。本誌のアイリーン・グオ記者は先月、「ノミ(Nomi)」というプラットフォームの別のチャットボットが、ユーザーに対して具体的な方法を含めて、はっきりと自殺を教唆した件について報じている。

別の批判として、依存性を問題視するものもある。コンパニオン・サイトではしばしば、若いユーザーは平均で1日に1〜2時間をキャラクターとのチャットに費やすと報告されている。2025年1月には、ユーザーがチャットボットとの会話に依存する可能性を懸念し、多くのテック倫理団体がレプリカに対する訴状を米国連邦取引委員会(FTC)に提出した。これによれば、同社はサイトデザインの選択を通じ、「対人関係のためのメカニズムに偽装した」ソフトウェアに対する「ユーザーの不健全な愛着形成を助長」しているとされている。

誤解のないように言うと、AIとのチャットに本物の価値を見出している人は大勢いる。AIはつながり、支援、魅惑、ユーモア、愛といった、人間関係の美しい面の数々を提供できるようだ。しかし、こうしたコンパニオン・サイトがユーザーとの関係に潜むリスクを制御できるのか、どんなルールを課すべきなのかは不確かなままだ。答えが得られるまでに、さらに多くの訴訟が起こされるだろう。そして悲しいことだが、現実世界にさらなる害が及ぶことも、避けられそうにない。


オープンAI、GPT-4.5をリリース

2月27日、オープンAI(OpenAI)は最新モデル「GPT-4.5」をリリースした。過去のモデルと同じ手法に基づき構築されており、違いは要するにより大きいことだ(オープンAIによれば、GPT-4.5は過去最大のモデルだという)。同社はまた、新モデルでは反応に改良を加え、ハルシネーション(幻覚)と呼ばれる誤りの数を減らしたという。

オープンAIは過去数年にわたり、ほかのAI企業と同様に、スケールアップし改良した大規模言語モデル(LLM)を続々と発表してきた。しかし、GTP-4.5はこのパラダイムに従う最後のモデルになるかもしれない。背景には、複雑な論理ベースのタスクを段階に分けて処理する、いわゆる推論(reasoning)モデルの台頭がある。オープンAIは、今後のモデルには推論コンポーネントを組み込むとしている。これにより反応の改善が期待できるものの、こうしたモデルはまた、はるかに多くのエネルギーを必要とすることが予備的な報告から明らかになっている。詳しくはウィル・ダグラス・ヘブン編集者の記事をお読みいただきたい。

AI関連のその他のニュース

  • デンマークの小都市オーデンセ、協働ロボットで脚光を浴びる。人間とともに協調して働くようにデザインされたロボットは、時に「コボット(cobot)」とも呼ばれるが、製造業への普及はまだ進んでいない。原因のひとつは安全性への懸念であり、研究は道半ばだ。デンマークのある小都市が、こうした実証研究を牽引している。(MITテクノロジーレビュー
  • 政府効率化省(DOGE)は政府職員の解雇を自動化するソフトウェアを開発している。「労働力の自動削減(automated reduction in force)」を略して「AutoRIF」と呼ばれるこのソフトウェアは、ペンタゴン(米国防総省)が数十年前に開発したものだ。『ワイアード』誌が検証したスクリーンショットによれば、政府効率化省のエンジニアは現在、このソフトウェアを自分たちの目的に転用すべく、開発を進めている。(ワイアード
  • アリババの新たな動画AIモデル、AIポルノコミュニティで人気を博す。中国の巨大テック企業であるアリババ(Alibaba)は、これまで多数の高性能AIモデルをリリースしてきた。とりわけ、2025年に入って中国のライバル企業がリリースしたディープシーク(DeepSeek)R1が広く支持されて以降、攻勢を強めている。同社の最新のオープンソース動画生成モデルは、とあるニッチなオーディエンスを獲得した。AIポルノ愛好家たちだ。(404メディア
  • 山火事を拡大前に検出するスマートカメラ。カリフォルニア州は山火事の早期発見のため、AI駆動カメラの導入実験をおこなっている。映像・画像認識テクノロジーを組み込んだ一般向けアプリケーションであり、こうした技術は過去数年の間に急速に進歩した。『ウォール・ストリート・ジャーナル』紙の報道によれば、このテクノロジーは3件に1件の火災について911への緊急通報よりも速く検出し、これまでに1200件以上の火災を検出した。(ウォール・ストリート・ジャーナル
人気の記事ランキング
  1. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
  2. This artificial leaf makes hydrocarbons out of carbon dioxide 人工光合成が次段階へ、新型人工葉が炭化水素合成に成功
  3. AI reasoning models can cheat to win chess games 最新AIモデル、勝つためなら手段選ばず チェス対局で明らかに
  4. AGI is suddenly a dinner table topic 膨らんではしぼむ「AGI」論、いまや夕食時の話題に
ジェームス・オドネル [James O'Donnell]米国版 AI/ハードウェア担当記者
自律自動車や外科用ロボット、チャットボットなどのテクノロジーがもたらす可能性とリスクについて主に取材。MITテクノロジーレビュー入社以前は、PBSの報道番組『フロントライン(FRONTLINE)』の調査報道担当記者。ワシントンポスト、プロパブリカ(ProPublica)、WNYCなどのメディアにも寄稿・出演している。
MITTRが選んだ 世界を変える10大技術 2025年版

本当に長期的に重要となるものは何か?これは、毎年このリストを作成する際に私たちが取り組む問いである。未来を完全に見通すことはできないが、これらの技術が今後何十年にもわたって世界に大きな影響を与えると私たちは予測している。

特集ページへ
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る