Now There’s an IQ Test for Siri and Friends

グーグル47点、Siriは24点——本当に賢いAIアシスタントはどれ？

デジタル・アシスタントと人間を同列に評価する方法を、中国の研究者が開発した。その結果、グーグル・アシスタントは、人間の6歳児よりは劣るが、近いという結果になった。しかし、実験の詳細が公表されていないため、結果を手放しで評価はできないのが残念だ。 by Emerging Technology from the arXiv2017.10.18

人間の知能の本質とは何か？その定義をめぐって、心理学者の間に明確な合意はない。明確な合意なくして知能を測定することなど困難だ。だからこそ、最も有名な測定方法である知能指数（IQ）テストは、激烈な論議を引き起こしてきた。

マシンインテリジェンスの本質についても同じことが言える。知性を宿す機械がますます一般的かつ実用的になるにつれ、心理学者やコンピューター科学者は、問題に向き合わざるを得なくなってきている。

知性を宿す機械にはどれほどの知能があるのだろうか？人間に匹敵するのだろうか？

北京にある中国科学院のフォン・リウ主任研究員ら研究チームのおかげで、その答えがある程度分かってきた。フォン主任研究員らは、機械と人間の両方を試せる知能テストを開発し、グーグル・アシスタント（Google Assistant）やシリ（Siri）のようなAIアシスタントを、人間と同じ尺度でランク付けしたのだ。

フォン主任研究員らのテストは、自らが「標準知能モデル」と呼ぶ新しいモデルに基づいている。標準知能モデルの定義では、機械は実世界からデータを取得する方法を持ち、取得したデータを機械自身が処理できる形式へ変換できなければならない。さらに、こうして「知識」となったデータを革新的な方法で使う能力も必要だ。最終的には得られた知識を人間に分かる形でフィードバックする必要もある。

要するに、データを収集して習得し、創造性を発揮して最後に結論を導き出す、ということだ。

「こうした特性がある機械を標準知能システムとして定義できます」とフォン主任研究員らはいう。

フォン主任研究者らは、標準知能モデルに基づいて機械と人間の能力を測定するテストを開発した。だが、ここからが曖昧だ。実際にどのようなテストを実施しているのか、詳細が公表されていないのだ。

それでも研究チームは、2014年からAIアシスタントをテストし続けてきたと説明する。テストを実施したAIアシスタント開発企業には、グーグル、バイドゥ、ソゴウ（捜狗、中国の検索サービス）、アップル、マイクロソフトが含まれる。同様の方法で人間にもテストを実施しており、機械と人間をすべて同じ尺度でランク付けできるようにした。

研究者が発表した最新のテスト、2016年のランキングは以下の通りだ。

人間（18歳）…… 97点
人間（12歳）……84.5点
人間（6歳）……55.5点
グーグル……47.28点
デューア（Duer、度秘）／バイドゥ……37.2点
バイドゥ（Baidu） ……32.92点
ソゴウ（Sogou）……32.25点
ビング（Bing）／マイクロソフト……31.98点
シャオビン（Xiaobing、小氷）／マイクロソフト……24.48点
シリ（Siri）／アップル……23.94点

このランキングからは、6歳児でさえも最も先進的なデジタル・アシスタント（今回の結果ではグーグル）よりも優れていることが分かる。アップルはなんとかランキングに滑り込んだが、主な競合すべてに負けている。

重要なのは、マシン・インテリジェンスは急速に改善しているということだ。2014年のテストでは、グーグルのアシスタントの評価点は26.4点だったという。そのわずか2年後には47.28点を獲得しており、6歳児との距離は縮まっている。飛躍的な前進だ。

以降もグーグルはアシスタントの改善をさらに進めており、実用性は高まっている。2017年のランキングは興味深いものになるだろう。

だが、それもこれも評価方法が信頼できればの話だ。テスト内容を公表することで勝負が簡単になってしまうという意味では、フォン主任研究員らが秘密にするのも理解はできる。一方で、どのようなテストなのか分からないままでは、その有用性を信じるのは難しい。

たとえば質問と回答の例を示すなど、さらなる詳細を公表する方が賢明だ。詳細の公表なしには、説得力に欠ける研究として見られても仕方がないだろう。

（参照：arxiv.org/abs/1709.10242：Intelligence Quotient and Intelligence Grade of Artificial Intelligence）

人気の記事ランキング

クレジット	Zapp2Photo / Shutterstock.com

エマージングテクノロジーフロムアーカイブ [Emerging Technology from the arXiv]米国版寄稿者: Emerging Technology from the arXivは、最新の研究成果とPhysics arXivプリプリントサーバーに掲載されるテクノロジーを取り上げるコーネル大学図書館のサービスです。Physics arXiv Blogの一部として提供されています。メールアドレス：KentuckyFC@arxivblog.com RSSフィード：Physics arXiv Blog RSS Feed