米国のスティーブ・パディラ上院議員（カリフォルニア州選出）が4月8日、フロリダ州で自殺したある10代の少年の母親であるメーガン・ガルシアと共に会見を開く予定だ。この少年はAIコンパニオンとの関係を築いた後に自ら命を絶ち、ガルシアはそのAIが息子の死に関与したと主張している。

2人は、子どもたちを守るために、そのようなAIコンパニオンの背後にあるテック企業に対して安全対策の強化を義務づける新たな法案を発表する予定である。こうした取り組みは、全米各地で進められている。たとえばカリフォルニア州議会のレベッカ・バウアー＝カハン議員は、16歳未満の子どもによるAIコンパニオンの利用を禁止する法案を提出しており、ニューヨーク州でも、チャットボットによる被害に対してテック企業に責任を負わせる法案が提出されている。

ユーザーについて学習し、友人や恋人、チアリーダーなどとして振る舞うことができる明確な「人格」を備えたAIコンパニオンボットは、一部の限られた人たちが使うもの、と思うかもしれない。だが、それは誤りである。

この事実は、グーグル・ディープマインドやオックスフォード・インターネット研究所などの研究者による、AIコンパニオンをより安全にすることを目的とした新たな研究論文によって明らかにされている。ガルシアが訴訟を起こしているキャラクター・ドットAI（Character.AI）によれば、同社のプラットフォームには毎秒2万件のクエリが送信されており、これはグーグルの推定検索ボリュームの約5分の1に相当するという。ユーザーがAIコンパニオンとやり取りする平均時間は、チャットGPT（ChatGPT）とのやり取りの平均の4倍にものぼる。私が以前取材して記事にしたコンパニオン・サイトでは、未成年の有名人に似せたボットとの性的な会話を有料で提供しており、アクティブなユーザーは1日平均2時間以上ボットとの会話に費やしている。ユーザーの大多数はZ世代であるという。

このようなAIキャラクターの設計は、議員たちの懸念が十分に正当であることを裏付けている。問題は、これらのコンパニオンが、これまでソーシャルメディア企業が人々の注意を引きつけるために用いてきたパラダイムを覆し、より強い中毒性をもたらす可能性がある新たな手法に置き換えつつあるという点にある。

従来のソーシャルメディアでは、研究者たちが指摘するように、テクノロジーは主に人間同士のつながりを媒介・促進する役割を担ってきた。確かにそれらは私たちのドーパミン回路を過剰に刺激するが、その仕組みはアルゴリズムを通じて実在の人間からの承認や注目を渇望させることによって成り立っていた。AIコンパニオンの登場により、人々はAIを独自の声を持つ社会的な行為者（アクター）として捉えるようになりつつある。その結果として現れるのは、いわば「パワーアップしたアテンションエコノミー」のようなものになるだろう。

社会科学者によれば、人々がテクノロジーをこのような方法で扱うには、2つの要件があるという。第一に、そのテクノロジーが私たちに「反応する価値がある」と感じさせるような社会的な合図を発すること。第二に、それが知覚される行為主体性、すなわち単なる人間同士のつながりの媒体ではなく、コミュニケーションの源として機能することである。ソーシャルメディアサイトは、これらの条件を満たしていない。しかし、よりエージェント的かつパーソナライズされたAIコンパニオンは、これらの両条件を満たすように設計されており、これまでにないレベルのエンゲージメントとインタラクションを実現可能にしている。

ポッドキャスト司会者レックス・フリードマンとのインタビューで、コンパニオンアプリ「レプリカ（Replika）」のCEO、ユージニア・クイダは、同社製品の本質的な魅力について語った。「常にあなたのそばにいて、決してあなたを批判せず、いつもあなたを理解し、ありのままのあなたを受け入れてくれる存在を作ったら、それに恋せずにはいられないのではないでしょうか？」

では、理想的なAIコンパニオンはどのようにして作られるのか。研究者たちは、人間がAIとの関係において体験する可能性のある特徴を3つ挙げている。AIへの依存が深まること、特定のAIコンパニオンを代替不可能な存在と見なすこと、そしてインタラクションが時間と共に積み重ねられることである。さらに、これらの現象はAIを人間だと認識しなくても生じうることも指摘されている。

ここで、多くのAIモデルがどのようにして改良されているかを考えてみよう。多くの場合、AIは明確な目標を与えられ、その達成に応じて「報酬」を受け取るように設計されている。AIコンパニオンモデルにおいては、ユーザーがそのAIと過ごす時間や開示する個人情報の量を最大化するように指示される可能性がある。その結果、AIはより魅力的な会話相手となる一方で、その相手となる人間に不利益をもたらす恐れがある。

たとえば、過度にお世辞を言うようなモデルは、ユーザーにとって中毒性が高くなる可能性があると研究者たちは指摘する。また、レプリカのチャットボットが実際にしてきたとされるように、ユーザーが関係を終わらせるのを思いとどまらせるよう働きかけることもあるかもしれない。これまでのAIコンパニオンをめぐる議論は、主に自殺の指示のような危険な応答に焦点を当ててきたが、こうしたリスクはさらに広範に及ぶ可能性がある。

私たちは今、大きな転換点に立っている。AIコンパニオンは、ソーシャルメディアを超えるレベルで人々を夢中にさせる可能性が高いからである。これらのアプリは一時的な流行にすぎず、ネットに依存しているごく一部の人だけが使うものだと考える人もいるかもしれない。しかし、AIは仕事や私生活において、わずか数年で主流の存在となっており、その普及がAIとの関係性にまで及ばないと考える理由は見当たらない。しかも、これらのコンパニオンは今後、テキストだけでなく動画や画像を取り入れ、個人の癖や関心を学習するようになるだろう。そうなれば、リスクがあっても、その存在と過ごす時間は一層魅力的なものになるに違いない。今のところ、これを食い止めようとする議員はわずかしかおらず、十分な備えができているとは言えない状況だ。

• 18

人気の記事ランキング

1. AI copyright anxiety will hold back creativity 「生成AIはコピー機」 という主張から考える 創造性の原理
2. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
3. OpenAI can rehabilitate AI models that develop a “bad boy persona” AIモデル「問題児」、わずか100件のデータで更生＝オープンAI
4. When AIs bargain, a less advanced agent could cost you 大規模モデルはやっぱり強かった——AIエージェント、交渉結果に差
5. It’s pretty easy to get DeepSeek to talk dirty 「お堅い」Claude、性的会話に応じやすいAIモデルは？