This AI Will Craft Tweets That You’ll Never Know Are Spam ポケモンGOユーザー
機械学習に騙される

7月、ポケモンGOについてつぶやいている人たちが、本人たちの気づかないうちに実験対象にされて、面倒な新種のオンライン攻撃が実証された。

セキュリティ業界の研究者は、機械学習ソフトウェアを訓練し、まるで人間のように、「#Pokemon」でつぶやくTwitterユーザーにメンションを飛ばし、返信させるように作り込んだ。言語を理解するソフトウェアの進歩によって、オンライン上で人を騙す様子を実演して見せたのだ。ソフトウェアが狙ったユーザーの約3分の1が、一緒に送られてきた無害なリンクをクリックし、いかに説得力のあるツイートだったかが実証された。

セキュリティ会社ゼロフォックスのジョン・シーモア上級データ科学者によれば、約3分の1の成功率は、自動化された”フィッシング”メッセージ（人を騙してリンクをクリックさせ、マルウェアを送りつけたりパスワードを盗んだりする）の一般的成功率である5～10％よりもずっと高い。機械学習システムは、特定の相手を騙す狙いで書かれた”スピアフィッシング” メッセージの成功率約40％に迫る結果を出している、とシーモア上級データ科学者はいう。

「スピアフィッシングは手作業になるので、ターゲットごとに何十分もの時間がかかります。機械学習ソフトウェアのメッセージはかなり正確で、しかも自動化されているので、もっと大きな規模でも使えていまします」とシーモア上級データ科学者は言っている。すべてのツイートの完成度が高いわけではないが、効果はあるのだそうだ。中には、リンク先が見えないので再送してほしいと返事をした人もいるという。

シーモア上級データ科学者は同僚のフィル・タリー研究員は、5日にラスベガスで開催されたBlack Hatコンピューター セキュリティ カンファレンスで、実験結果を発表した。2人の研究によれば、機械学習テクノロジーは犯罪者の成功率を劇的に高めてしまう。

フィッシングやスピアフィッシングはすでに重大な問題だ。ネットワーク機器大手のシスコシステムズが昨年発表した調査によれば、Facebook経由で送られたフィッシングメッセージは、企業ネットワークへの不正アクセスの一番の原因だった。

ゼロフォックスの研究者が作成したソフトウェアSNAP_Rの機能は2つある。ひとつは、人工知能の手法や深層学習といった、グーグルなどの会社が言語を理解・翻訳するシステムを作るのと同じ仕組みを使う。200万件のツイートメッセージで訓練し、自ら本物っぽいツイートを生成させるようにした。

もうひとつの機能は、相手を絞り込む手法だ。特定の人の最近のツイートを見て、その人のツイートを学習し、語句を「マルコフ連鎖」という、言葉のつながりを統計的に処理する手法で分析する。すると、ターゲットが書いたツイートとよく似たツイートを生成できるようになり、読んだ人は、自分と似た興味をもった人の書いたメッセージだと思ってクリックしてしまう。

SNAP_Rは、一定の話題に影響力があったり、一定のハッシュタグで活発に発言したりしている人を探し当て、ターゲットにできる。プロフィール欄の「CEO」などのキーワードで絞り込み、影響力の大きさをフォロワー数などで測定すれば、デマを流させたり、興味・関心を制御したり、個人情報を盗み出すサイトに誘導したりできる。ZeroFoxは、研究者がこの種の攻撃の潜在的な破壊力を考察し、その対策を考えてもらうため、検証版をリリースする予定だ。

モバイルセキュリティ会社ルックアウトでセキュリティ研究を担当するマイク・マレー副社長は、将来、オンライン上で機械学習によって人を騙すプロセスが自動化されそうであることを「恐い」ことだという。しかしマレー副社長は、この手法で実際の攻撃が始まるまでにはもう少し時間がかかると考えている。

最近の進歩にもかかわらず、一番優秀な機械学習手法にもいまだに特殊な専門技能が必要であり、言語を生成する能力は完全からは程遠い。グーグルは機械学習と言語の分野のリーダーであるが、メールの返信文を生成できるグーグルのアプリ「Inbox」は、短いワンセンテンスの返事しか提案できない、とマレー副社長はいう。

「グーグルが一文より長い文章を生成できないなら、私も多分、あまり上出来なフィッシングメールを生成できませんね」

ゼロフォックスのタリー研究員は、自動化されたスピアフィッシングが明日にも広く犯罪に使われるとは予言していない。しかし機械学習のアルゴリズムを使うことはもっと簡単になり、ソーシャルメディアで成功を収めるために言語を完全に操れるようになる必要はない。ツイッターを使う人たちは、見ず知らずの人と関わっても構わないとは思っており、不完全な文法の文章は人間も書いている。

「ツイッターのカルチャーはとても寛大で、完璧な英語や文法を使う必要はないのです」