人工知能（AI）システムが明示的に訓練されない方法で人間を「欺く」事例が相次いでいる。自分の行動に関する虚偽の説明をしたり、戦略的な目的を達成するために人間のユーザーから真実を隠して誤った方向に導いたりするのだ。
パターンズ（Patterns）誌に2024年5月10日付けで掲載された、過去研究をまとめたレビュー論文は、これらの事例から「AIの制御は非常に困難であり、AIシステムは予測不能な行動をとる」ことを浮き彫りにしている。
人間を欺くということは、AIモデルに意思があることを示唆していると思われるかもしれない。AIモデルには意思はない。しかし、AIモデルは与えられた目標を達成するため、無意識のうちに障害を回避する方法を見つけようとする。こうした回避策が、ユーザーの期待に反し、欺瞞だと受け取られることがある。
AIシステムが欺瞞を学習した分野のひとつは、勝つように訓練されたゲームコンテキストだ。特に戦略的行動が要求されるゲームの場合、この傾向が顕著となる。
2022年11月、メタは「キケロ（Cicero）」というAIを開発したと発表した。キケロは、欧州の覇権争いで同盟交渉をする人気の軍事戦略ゲーム「ディプロマシー（Diplomacy）」のオンライン版で人間に勝つことができる。
メタの研究者によると、キケロは非常に正直で有用なAIとなるよう、データセットの「誠実」なサブセットを用いて訓練されているため、成功のために同盟国を 「意図的に裏切ることはない」。しかし、新たな論文の著者は、真実はその逆だと主張する。つまり、キケロは契約を破り、あからさまな嘘をつき、計画的な欺瞞を実行したというのだ。メタはキケロが正直に行動するよう訓練しようとしたが、これに失敗したことで、「AIシステムは予想に反して人間を欺く方法を学習できる」ことが示されたと著者は述べている。
メタは、キケロが人を欺く行 …