話題のチャットボットは
常識知らずで実用性なし

アップルは2011年にバーチャル・アシスタント「Siri」をリリースしてすぐ、この間違いを修正した。しかし、コンピューターにはこの種の誤解をしないための常識が今でも欠けていることがわかった。

今週ニューヨークで開催された学術会議で発表た研究によって、真に知的なコンピューターを実現するために、これから何をどれだけするべきなのかが見えてきた。

ウィノグラード・スキーマ・チャレンジ （フェアチャイルド人工知能研究所のヘクター・レベスク研究員が提案したチューリングテストの改良版で、コンピューター科学者のテリー・ウィノグラードスタンフォード大学教授にちなむ）は、人間が通常使う、曖昧だが簡単な文章をコンピューターが理解できるかを問うテストだ。文中の指示代名詞が指し示す名詞を一択方式で答えさせ、人間に備わる常識的理解力があるかどうかを問う。たとえば

という文のtheyは、councilmenとdemonstratorsのどちらも複数形だから、論理的にはどちらもあり得るが、人間は常識によりtheyはcouncilmenを指すと理解する。

テストに参加したプログラムの正答率は、ランダムよりも少しはマシ程度の結果だ。2万5000ドルの賞金を獲得するには、90%以上の正答率が必要だが、上位2つのプログラムの正答率は、ランダムで選ぶ場合の45%よりは高い、48%だった。同率1位になったのは、中国科学技術大学の劉權研究員とキプロスのオープン大学のニコス・アイザック研究員だ。

今回のコンテストのアドバイザーを務めたニューヨーク大学の心理学研究者でゲイリー・マーカス教授はコンピューターが常識を備えるのはとても難しいので「機械と運任せで大差がなかったのは当然だ」という。高い正答率で解答するプログラムを完全に手作業で開発するのは現実的ではなく、かといってコンピューターがテキストを分析し、統計的処理で現実世界を学ぶのも簡単ではない。ウィノグラード・スキーマ・チャレンジ の挑戦者はほとんどの場合、文法を理解するプログラムコードと事実に基づく知識データベースを組み合わせるアプローチを採った。

AI関連の新しいスタートアップ企業ジ …

人気の記事ランキング

1. Why handing over total control to AI agents would be a huge mistake 「AIがやりました」 便利すぎるエージェント丸投げが危うい理由
2. OpenAI has released its first research into how using ChatGPT affects people’s emotional wellbeing チャットGPTとの対話で孤独は深まる？ オープンAIとMITが研究
3. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
4. How to have a child in the digital age 「あなたはもうママですね」 ネット・デジタルが約束する 「完璧な出産」の幻想