人工知能（AI）エージェントが、テック業界を騒然とさせている。画期的な新システムであるAIエージェントは、チャットボットとは異なり、チャット・ウィンドウの外で動作し、ユーザーが入力する簡単な命令に応じて、複数のアプリケーションを操り、会議の日程調整やオンライン・ショッピングのような複雑なタスクを実行する。AIエージェントの開発が進み、より高性能になるにつれて、重大な疑問が浮かび上がってくる。私たちは、どれだけ制御権を手放し、どれだけの代償を払うつもりなのだろうか。

AIエージェントの新しいフレームワークや機能は毎週のように発表されており、各企業はこのテクノロジーについて、私たちができない作業や、やりたくない作業を代行することで、生活をより快適にする手段として宣伝している。代表的な例としては、アンソロピック（Anthropic）の「クロード（Claude）」システムが画面上でユーザーのコンピューターを直接操作することを可能にする「コンピューター・ユース（Computer Use）」や、オンラインツールを利用して顧客の開拓や旅行の計画といったさまざまなタスクを処理できる汎用AIエージェント「マヌス（Manus）」などがある。

このような発展は、人間の直接的な監視なしにデジタル環境で動作するよう設計されたAIシステムの、大きな進歩を示している。

その将来性には大きな説得力がある。誰だって、時間がないときに面倒な仕事や作業を手伝ってほしいと思うはずだ。近いうちに、エージェントによる支援は、同僚に子どものバスケットボール大会について尋ねるようリマインドしてくれたり、次のプレゼン用の画像を探してくれたりなど、さまざまな形態をとるようになる可能性がある。数週間もすれば、あなたに代わってプレゼンをしてくれるようになるかもしれない。

さらに、AIエージェントは人々の生活に非常に有意義な変化をもたらす確かな可能性もある。手が不自由な人や弱視の人のために、AIエージェントは簡単な言葉による命令に応じてオンラインでタスクを完了させることができる。AIエージェントはまた、たとえば災害が発生した際、ドライバーたちが一斉にその地域から一刻も早く脱出できるように経路を案内するなど、危機的状況において大勢の人々を同時に支援することもできるだろう。

しかし、このようなAIエージェントの進化は、自律性の向上を急ぐあまり、見落としかねない重大なリスクをもたらす。私たちハギング・フェイス（Hugging Face）の研究チームは、このようなシステムの実装と調査に何年も費やしてきたが、最近の研究結果により、エージェントの開発がきわめて深刻な過ちにつながる危険性が示されている。

制御権を少しずつ放棄すること

この核心的な問題は、AIエージェントの最も興味深い事柄の中核を成すものだ。AIシステムの自律性が高まれば高まるほど、人間はますます制御権を放棄することになる。AIエージェントは柔軟性を持ち、直接プログラムしなくても多様なタスクをこなせるように開発されている。

このような柔軟性を持つことが可能となっているのは、多くのシステムが、予測不可能で重大な（そして時には滑稽な）エラーを起こしやすい大規模言語モデル（LLM）上に構築されているからだ。LLMがチャット・インターフェイスでテキストを生成するときは、どのようなエラーでもその会話内にとどまる。しかし、システムが単独で、さまざまなアプリケーションを操りながら行動できるようになると、ファイルの操作、ユーザーのなりすまし、不正取引など、こちらが意図しない行動を取ってしまう可能性がある。人間が監視する必要が少なくなるという「売り」の機能そのものが、最も深刻な脆弱性となり得るのだ。

---

---

全体的なリスクと便益の関係を理解するには、AIエージェント・システムの特徴を自律性のレベルによって分類するといい。最も低いレベルに位置するのは、企業のWebサイト上でユーザーに挨拶するチャットボットのような、プログラムの流れにまったく影響を与えない「単純処理装置」だ。一方、最も高いレベルにある「完全自律型エージェント」は、人間の制約や監視なしに新しいコードを書き、それを実行できる。このレベルになると、ファイルの移動、記録の変更、メールでのコミュニケーションなど、人間の指示なしに自律的に行動を起こせる。

中間レベルの例としては、人間が指示した複数の手順のうちどれを実行するかを判断する「ルーター」、エージェントが提案したツールを使って人間が作成した関数を実行する「ツール呼び出しエージェント」、どの関数をいつどのように実行するかを決定する「マルチステップ・エージェント」などがある。いずれも、人間によるコントロールが段階的に排除されていくプロセスの一部を示している。

AIエージェントが、私たちの日々の活動に非常に役立つことは明白だ。しかし、プライバシーや安全性、セキュリティの面で明らかな懸念があることも確かだ。ある人物の詳細情報を提供するエージェントは、その人物の個人情報を必要とし、過去のやりとりの大部分を監視する必要があり、深刻なプライバシー侵害を引き起こす可能性がある。建物の図面から道順を作成するエージェントは、悪意のある行為者によって、立ち入りが許可されていない場所に侵入するために使われる可能性がある。

さらに、システムが複数の情報源を同時にコントロールできるようになると、危険性は急激に高まる。たとえば、私的なコミュニケーションとパブリック・プラットフォームの両方にアクセスできるエージェントは、個人情報をソーシャルメディアで共有してしまう可能性がある。共有された情報は真実ではないかもしれないが、従来のファクトチェック・メカニズムの監視の目をすり抜け、さらに共有されることで増幅され、深刻な風評被害につながる可能性がある。悪い結果に対する言い訳として、「それは私じゃない。エージェントが勝手にやったことだ」というのが常套句になる日も近いかもしれない。

人間による監視の確保

人間による監視を維持することが重要である理由は、歴史的な前例が示している。1980年、コンピューター・システムが誤って、2000発を超えるソ連のミサイルが北米に向かって飛んできているという警報を出した。このエラーによって緊急措置が発動され、大惨事の一歩手前まで近づいた。最悪の事態を回避できたのは、異なる警告システム間で人間が相互に検証したおかげだった。もし確実さよりもスピードを優先する自律システムに意思決定が完全に委ねられていたとすれば、破滅的な結果になっていたかもしれない。

リスクに見合う便益があると反対意見を述べる人もいるだろうが、その便益を実現するのに人間による制御を完全に放棄する必要はないと主張したい。むしろ、AIエージェントの開発は、AIエージェントができることの範囲を制限するような形で、人間による監視の確保の開発と並行して進められなければならない。

オープンソースのエージェント・システムは、システムに何ができて何ができないか、人間が詳細に監視できるため、リスクに対処する一つの方法となる。ハギング・フェイスでは、「スモールエージェンツ（Smolagents）」というフレームワークを開発している。サンドボックス化された安全な環境を提供し、透明性を中核に据えたエージェントの構築を可能にするものだ。その結果、独立したグループが、人間による適切な制御を確保できているかどうかを検証できるようになる。

これは、独自のテクノロジーを何層にも重ねて意思決定プロセスを不明瞭にし、安全性を保証することを不可能にしている、ますます複雑で不透明なAIシステムへと向かう昨今の傾向とはまったく対照的なアプローチである。

ますます高度化するAIエージェントの開発を進めるにあたり、私たちは、あらゆるテクノロジーが持つべき最も重要な機能は、効率を高めることではなく、人間の幸福を促進することであることを認識しなければならない。

それはすなわち、意思決定者ではなくツールであり、代行者ではなくアシスタントであり続けるシステムの開発を意味する。人間による意思決定は、その不完全さを含めて、このようなシステムが私たちの利益を損なうのではなく、むしろ私たちに役立つことを保証するために不可欠な要素であり続けるのだ。

◆

この記事の著者であるマーガレット・ミッチェル、アビジット・ゴーシュ、サーシャ・ルッチョーニ、ジャダ・ピスティッリは、責任あるオープンソースAIの世界的スタートアップ企業であるハギング・フェイスに所属する。

マーガレット・ミッチェル博士は、機械学習の研究者であり、ハギング・フェイスの最高倫理科学者として、人間の価値観とテクノロジー開発を結びつけている。

サーシャ・ルッチョーニ博士はハギング・フェイスの気候リーダーで、AIシステムの持続可能性を向上させるための研究、コンサルティング、能力開発を指揮している。

アビジット・ゴーシュ博士はハギング・フェイスの応用政策研究者で、責任あるAIと政策の交差点を研究している。研究と政策立案者との関わりを通じて、AI規制と業界慣行の形成に貢献してきた。

ジャダ・ピスティッリ博士はハギング・フェイスの主任倫理学者として働く哲学研究者である。

 

• 8

人気の記事ランキング

1. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
2. This startup just hit a big milestone for green steel production グリーン鉄鋼、商業化へ前進　ボストン・メタルが1トンの製造に成功
3. AI reasoning models can cheat to win chess games 最新AIモデル、勝つためなら手段選ばず　チェス対局で明らかに
4. OpenAI has released its first research into how using ChatGPT affects people’s emotional wellbeing チャットGPTとの対話で孤独は深まる？ オープンAIとMITが研究