KADOKAWA Technology Review
×
人間にはバレずにAIをだます方法が発見される
mr. tech
AI Shouldn’t Believe Everything It Hears

人間にはバレずにAIをだます方法が発見される

音声、画像のちょっとした「ノイズ」でAIはだませる。やっかいなのは、防ぐ手段が見つからないことだ。 by Jamie Condliffe2017.07.31

人工知能は画像の中の物体人が話した言葉を正確に認識できる。しかしAI(人工知能)のアルゴリズムは人間の脳とは異なる仕組みで動いている。ということは人間は騙せなくても、AIは騙せることになる。

ニュー・サイエンティスト誌の記事によると、バル=イラン大学(イスラエル)の研究者とフェイスブックのAI研究チームの合同研究で、音声データに微妙な細工すると、人間が聞いた場合は問題がなくても、音声認識AIは完全に別な音声と誤認識するとの結果が出たという。音声データに、独特なパターンのわずかな雑音を加えると、ニューラル・ネットワークは元の言葉とは異なる認識をしてAIをだますようになる。

研究グループは、さまざまな音声データを「フーディーニ(Houdini)」という新型アルゴリズムを適用してから、グーグル・ボイス(Google Voice)で文字にするという方法で実験した。たとえば、元の音声データは次ようなものだ。

Her bearing was graceful and animated she led her son by the hand and before her walked two maids with wax lights and silver candlesticks.

(訳:彼女の様子は上品で生き生きとしていて、息子の手を引いていた。彼女の前方には2人のメイドが銀の燭台にロウソクを灯して歩いていた)

このオリジナル音声データを、グーグル・ボイスを通すと次ような文字データになる。

The bearing was graceful an animated she let her son by the hand and before he walks two maids with wax lights and silver candlesticks.

(訳:その振る舞いは上品で生き生きしており、彼女は息子が手を自由に動かすままにした。前方では彼がロウソクを灯した銀の燭台を持った2人のメイドと歩いている)

しかし、フーディーニで細工した音声は、聴き取り検査の段階では人間の耳にはオリジナルと区別がつかないことが確認済みだが、文字データにすると次のようなる。

Mary was grateful then admitted she let her son before the walks to Mays would like slice furnace filter count six.

(訳:メアリーは、息子がメイズへの散歩の前にかまどのフィルターを6枚にするのを認めて感謝した)

チームの研究成果を他の機械学習アルゴリズムにも応用できる。冒頭の画像のように、人間の画像に細工すると、人間の姿勢を特定するアルゴリズムを混乱させて、実際とは別の姿勢だと認識させられる。さらに研究チームは、路上の風景にノイズを加えて、自律自動車で使用される通常のAIアルゴリズムを騙し、本来なら道路や標識を分類するはずが、代わりにミニオンと誤認識させるのに成功した。このような画像データに関して得られた結果はオープンAIとグーグル・ブレイン(Google Brain)合同の機械学習研究チームが2016年に発表した研究成果と似通ったものだ。

こういった「詐欺データ」を研究対象とするのは奇妙に思えるかもしれないが、機械学習アルゴリズムのストレステストでは使える。さらに懸念されるのは、実際には存在しない事柄を見せたり聞かせたりしてAIをだますという、非道な方法による犯罪の可能性だ。たとえば、自律自動車に交通状況を誤認識させる、スマート・スピーカーに偽コマンドを聞かせるといった具合だ。もちろん実際にこのような攻撃を仕掛けるのは、実験室で人工知能をだますのとはわけが違う。詐欺データを埋め込むのがやっかいだからだ。

とはいえ、こういった騙しの手口で最も懸念すべき点は、AIをイタズラをから守る方法を実際に見つけるのは、かなり難しいということだ。以前、MIT テクノロジーレビューが記事で伝えた通り、多層ニューラル・ネットワークはどのような仕組みで働いているのかが、はっきりしていない。ということは、音声や画像データの微細な細工を、AIが受け入れてしまう理由も分からないということだ。その理由が分かるまで、詐欺データはAIアルゴリズムにとって危険な存在であり続けることとなる。

(関連記事:“人類に残された、AIを信用しない、使わない、という選択肢,” “精度は人間以上でも顔認識を騙すのは簡単”)

人気の記事ランキング
  1. Why handing over total control to AI agents would be a huge mistake 「AIがやりました」 便利すぎるエージェント丸投げが危うい理由
  2. OpenAI has released its first research into how using ChatGPT affects people’s emotional wellbeing チャットGPTとの対話で孤独は深まる? オープンAIとMITが研究
  3. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
タグ
クレジット Image by Mr Tech
ジェイミー コンドリフ [Jamie Condliffe]米国版 ニュース・解説担当副編集長
MIT Technology Reviewのニュース・解説担当副編集長。ロンドンを拠点に、日刊ニュースレター「ザ・ダウンロード」を米国版編集部がある米国ボストンが朝を迎える前に用意するのが仕事です。前職はニューサイエンティスト誌とGizmodoでした。オックスフォード大学で学んだ工学博士です。
MITTRが選んだ 世界を変える10大技術 2025年版

本当に長期的に重要となるものは何か?これは、毎年このリストを作成する際に私たちが取り組む問いである。未来を完全に見通すことはできないが、これらの技術が今後何十年にもわたって世界に大きな影響を与えると私たちは予測している。

特集ページへ
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る