人工知能は画像の中の物体や人が話した言葉を正確に認識できる。しかしAI（人工知能）のアルゴリズムは人間の脳とは異なる仕組みで動いている。ということは人間は騙せなくても、AIは騙せることになる。
ニュー・サイエンティスト誌の記事によると、バル＝イラン大学（イスラエル）の研究者とフェイスブックのAI研究チームの合同研究で、音声データに微妙な細工すると、人間が聞いた場合は問題がなくても、音声認識AIは完全に別な音声と誤認識するとの結果が出たという。音声データに、独特なパターンのわずかな雑音を加えると、ニューラル・ネットワークは元の言葉とは異なる認識をしてAIをだますようになる。
研究グループは、さまざまな音声データを「フーディーニ（Houdini）」という新型アルゴリズムを適用してから、グーグル・ボイス（Google Voice）で文字にするという方法で実験した。たとえば、元の音声データは次ようなものだ。
Her bearing was graceful and animated she led her son by the hand and before her walked two maids with wax lights and silver candlesticks.
（訳：彼女の様子は上品で生き生きとしていて、息子の手を引いていた。彼女の前方には2人のメイドが銀の燭台にロウソクを灯して歩いていた）
このオリジナル音声データを、グーグル・ボイスを通すと次ような文字データになる。
The bearing was graceful an animated she let her son by the hand and before he walks two maids with wax lights and silver candlesticks.
（訳：その振る舞いは上品で生き生きしており、彼女は息子が手を自由に動かすままにした。前方では彼がロウソクを灯した銀の燭台を持った2人のメイドと歩いている）
しかし、フーディーニで細工した音声は、聴き取り検査の段階では人間の耳にはオリジナルと区別がつかないことが確認済みだが、文字データにすると次のようなる。
Mary was grateful then admitted she let her son before the walks to Mays would like slice furnace filter count six.
（訳：メアリーは、息子がメイズへの散歩の前にかまどのフィルターを6枚にするのを認めて感謝した）
チームの研究成果を他の機械学習アルゴリズムにも応用できる。冒頭の画像のように、人間の画像に細工すると、人間の姿勢を特定するアルゴリズムを混乱させて、実際とは別の姿勢だと認識させられる。さらに研究チームは、路上の風景にノイズを加えて、自律自動車で使用される通常のAIアルゴリズムを騙し、本来なら道路や標識を分類するはずが、代わりにミニオンと誤認識させるのに成功した。このような画像データに関して得られた結果はオープンAIとグーグル・ブレイン（Google Brain）合同の機械学習研究チームが2016年に発表した研究成果と似通ったものだ。
こういった「詐欺データ」を研究対象とするのは奇妙に思えるかもしれないが、機械学習アルゴリズムのストレステストでは使える。さらに懸念されるのは、実際には存在しない事柄を見せたり聞かせたりしてAIをだますという、非道な方法による犯罪の可能性だ。たとえば、自律自動車に交通状況を誤認識させる、スマート・スピーカーに偽コマンドを聞かせるといった具合だ。もちろん実際にこのような攻撃を仕掛けるのは、実験室で人工知能をだますのとはわけが違う。詐欺データを埋め込むのがやっかいだからだ。
とはいえ、こういった騙しの手口で最も懸念すべき点は、AIをイタズラをから守る方法を実際に見つけるのは、かなり難しいということだ。以前、MIT テクノロジーレビューが記事で伝えた通り、多層ニューラル・ネットワークはどのような仕組みで働いているのかが、はっきりしていない。ということは、音声や画像データの微細な細工を、AIが受け入れてしまう理由も分からないということだ。その理由が分かるまで、詐欺データはAIアルゴリズムにとって危険な存在であり続けることとなる。
（関連記事：“人類に残された、AIを信用しない、使わない、という選択肢,” “精度は人間以上でも顔認識を騙すのは簡単”）