KADOKAWA Technology Review
×
始めるならこの春から!年間サブスク20%オフのお得な【春割】実施中
Now There’s an IQ Test for Siri and Friends

グーグル47点、Siriは24点——本当に賢いAIアシスタントはどれ?

デジタル・アシスタントと人間を同列に評価する方法を、中国の研究者が開発した。その結果、グーグル・アシスタントは、人間の6歳児よりは劣るが、近いという結果になった。しかし、実験の詳細が公表されていないため、結果を手放しで評価はできないのが残念だ。 by Emerging Technology from the arXiv2017.10.18

人間の知能の本質とは何か?その定義をめぐって、心理学者の間に明確な合意はない。明確な合意なくして知能を測定することなど困難だ。だからこそ、最も有名な測定方法である知能指数(IQ)テストは、激烈な論議を引き起こしてきた。

マシンインテリジェンスの本質についても同じことが言える。知性を宿す機械がますます一般的かつ実用的になるにつれ、心理学者やコンピューター科学者は、問題に向き合わざるを得なくなってきている。

知性を宿す機械にはどれほどの知能があるのだろうか? 人間に匹敵するのだろうか?

北京にある中国科学院のフォン・リウ主任研究員ら研究チームのおかげで、その答えがある程度分かってきた。フォン主任研究員らは、機械と人間の両方を試せる知能テストを開発し、グーグル・アシスタント(Google Assistant)やシリ(Siri)のようなAIアシスタントを、人間と同じ尺度でランク付けしたのだ。

フォン主任研究員らのテストは、自らが「標準知能モデル」と呼ぶ新しいモデルに基づいている。標準知能モデルの定義では、機械は実世界からデータを取得する方法を持ち、取得したデータを機械自身が処理できる形式へ変換できなければならない。さらに、こうして「知識」となったデータを革新的な方法で使う能力も必要だ。最終的には得られた知識を人間に分かる形でフィードバックする必要もある。

要するに、データを収集して習得し、創造性を発揮して最後に結論を導き出す、ということだ。

「こうした特性がある機械を標準知能システムとして定義できます」とフォン主任研究員らはいう。

フォン主任研究者らは、標準知能モデルに基づいて機械と人間の能力を測定するテストを開発した。だが、ここからが曖昧だ。実際にどのようなテストを実施しているのか、詳細が公表されていないのだ。

それでも研究チームは、2014年からAIアシスタントをテストし続けてきたと説明する。テストを実施したAIアシスタント開発企業には、グーグル、バイドゥ、ソゴウ(捜狗、中国の検索サービス)、アップル、マイクロソフトが含まれる。同様の方法で人間にもテストを実施しており、機械と人間をすべて同じ尺度でランク付けできるようにした。

研究者が発表した最新のテスト、2016年のランキングは以下の通りだ。

  1. 人間(18歳)…… 97点
  2. 人間(12歳)……84.5点
  3. 人間(6歳)……55.5点
  4. グーグル……47.28点
  5. デューア(Duer、度秘)/バイドゥ……37.2点
  6. バイドゥ(Baidu) ……32.92点
  7. ソゴウ(Sogou)……32.25点
  8. ビング(Bing)/マイクロソフト……31.98点
  9. シャオビン(Xiaobing、小氷)/マイクロソフト……24.48点
  10. シリ(Siri)/アップル……23.94点

このランキングからは、6歳児でさえも最も先進的なデジタル・アシスタント(今回の結果ではグーグル)よりも優れていることが分かる。アップルはなんとかランキングに滑り込んだが、主な競合すべてに負けている。

重要なのは、マシン・インテリジェンスは急速に改善しているということだ。2014年のテストでは、グーグルのアシスタントの評価点は26.4点だったという。そのわずか2年後には47.28点を獲得しており、6歳児との距離は縮まっている。飛躍的な前進だ。

以降もグーグルはアシスタントの改善をさらに進めており、実用性は高まっている。2017年のランキングは興味深いものになるだろう。

だが、それもこれも評価方法が信頼できればの話だ。テスト内容を公表することで勝負が簡単になってしまうという意味では、フォン主任研究員らが秘密にするのも理解はできる。一方で、どのようなテストなのか分からないままでは、その有用性を信じるのは難しい。

たとえば質問と回答の例を示すなど、さらなる詳細を公表する方が賢明だ。詳細の公表なしには、説得力に欠ける研究として見られても仕方がないだろう。

(参照:arxiv.org/abs/1709.10242:Intelligence Quotient and Intelligence Grade of Artificial Intelligence)

人気の記事ランキング
  1. AI companions are the final stage of digital addiction, and lawmakers are taking aim SNS超える中毒性、「AIコンパニオン」に安全対策求める声
  2. Promotion MITTR Emerging Technology Nite #32 Plus 中国AIをテーマに、MITTR「生成AI革命4」開催のご案内
  3. This Texas chemical plant could get its own nuclear reactors 化学工場に小型原子炉、ダウ・ケミカルらが初の敷地内設置を申請
  4. Tariffs are bad news for batteries トランプ関税で米電池産業に大打撃、主要部品の大半は中国製
クレジット Zapp2Photo / Shutterstock.com
エマージングテクノロジー フロム アーカイブ [Emerging Technology from the arXiv]米国版 寄稿者
Emerging Technology from the arXivは、最新の研究成果とPhysics arXivプリプリントサーバーに掲載されるテクノロジーを取り上げるコーネル大学図書館のサービスです。Physics arXiv Blogの一部として提供されています。 メールアドレス:KentuckyFC@arxivblog.com RSSフィード:Physics arXiv Blog RSS Feed
▼Promotion
MITTRが選んだ 世界を変える10大技術 2025年版

本当に長期的に重要となるものは何か?これは、毎年このリストを作成する際に私たちが取り組む問いである。未来を完全に見通すことはできないが、これらの技術が今後何十年にもわたって世界に大きな影響を与えると私たちは予測している。

特集ページへ
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る