話題のチャットボットは
常識知らずで実用性なし

アップルは2011年にバーチャル・アシスタント「Siri」をリリースしてすぐ、この間違いを修正した。しかし、コンピューターにはこの種の誤解をしないための常識が今でも欠けていることがわかった。

今週ニューヨークで開催された学術会議で発表た研究によって、真に知的なコンピューターを実現するために、これから何をどれだけするべきなのかが見えてきた。

ウィノグラード・スキーマ・チャレンジ （フェアチャイルド人工知能研究所のヘクター・レベスク研究員が提案したチューリングテストの改良版で、コンピューター科学者のテリー・ウィノグラードスタンフォード大学教授にちなむ）は、人間が通常使う、曖昧だが簡単な文章をコンピューターが理解できるかを問うテストだ。文中の指示代名詞が指し示す名詞を一択方式で答えさせ、人間に備わる常識的理解力があるかどうかを問う。たとえば

という文のtheyは、councilmenとdemonstratorsのどちらも複数形だから、論理的にはどちらもあり得るが、人間は常識によりtheyはcouncilmenを指すと理解する。

テストに参加したプログラムの正答率は、ランダムよりも少しはマシ程度の結果だ。2万5000ドルの賞金を獲得するには、90%以上の正答率が必要だが、上位2つのプログラムの正答率は、ランダムで選ぶ場合の45%よりは高い、48%だった。同率1位になったのは、中国科学技術大学の劉權研究員とキプロスのオープン大学のニコス・アイザック研究員だ。

今回のコンテストのアドバイザーを務めたニューヨーク大学の心理学研究者でゲイリー・マーカス教授はコンピューターが常識を備えるのはとても難しいので「機械と運任せで大差がなかったのは当然だ」という。高い正答率で解答するプログラムを完全に手作業で開発するのは現実的ではなく、かといってコンピューターがテキストを分析し、統計的処理で現実世界を学ぶのも簡単ではない。ウィノグラード・スキーマ・チャレンジ の挑戦者はほとんどの場合、文法を理解するプログラムコードと事実に基づく知識データベースを組み合わせるアプローチを採った。

AI関連の新しいスタートアップ企業ジ …

人気の記事ランキング

1. Bringing the lofty ideas of pure math down to earth 崇高な理念を現実へ、 物理学者が学び直して感じた 「数学」を学ぶ意義
2. Google’s new Project Astra could be generative AI’s killer app 世界を驚かせたグーグルの「アストラ」、生成AIのキラーアプリとなるか
3. These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
4. AI’s search for more energy is growing more urgent 生成AIの隠れた代償、激増するデータセンターの環境負荷