ある朝目覚めると超強力な人工知能（AI）が出現していて、悲惨な結果をもたらしたことに口もきけないほどのショックを受けることがあり得るだろうか？ 『スーパーインテリジェンス 超絶AIと人類の命運』（ニック・ボストロム著 ）や 『LIFE3.0――人工知能時代に人間であるということ』（マックス・テグマーク著）のような書籍、および最近の記事は、悪意のあるスーパー・インテリジェンス（超知能）が人類の存在を脅かすリスクであると主張している。
しかし、推測することはいくらでも可能だ。それよりも、より具体的で経験に基づいた質問をする方が良いだろう。超知能が実際に間近に迫っていることを私たちに警告するものは何だろうか。
AIの炭鉱ではそのような前兆を「カナリア」と呼んでも良いだろう（炭鉱内の有毒ガスの有無を調べるために生きたカナリアを連れて入ったことから「潜在的な危険または失敗の早期指標」を意味する）。AIプログラムが根本的な新しい機能を開発したら、それはカナリアが卒倒することを意味する。つまり、AIのブレークスルーが差し迫っていることを示す早期の警告である。
有名なチューリングテストはカナリアとして機能するだろうか。1950年にアラン・チューリングが発明したこのテストの仮定によると、人間レベルのAIが達成されるのは、人が人間との会話とコンピューターとの会話との区別ができなくなったときだという。これは重要なテストだが、カナリアではない。 むしろ、人間レベルのAIがすでに出来上がっているという「しるし」だ。多くのコンピューター科学者は、そうなったら超知能はすぐそこまで来ていると考えている。しかし、中間的なマイルストーンがさらに必要だ。
囲碁、 ポーカー、 クウェイク（Quake）3 などのゲームにおけるAIのパフォーマンスはカナリアだろうか。そうではない。これらのゲームにおけるいわゆるAIの大部分は実際には、お題を組み立てて解決策を設計する人間の手によるものだ。「アルファ碁（AlphaGo）」が人間の囲碁チャンピオンに勝利したのは、同プログラムを開発したディープマインド（DeepMind）の有能な人間のチームの功績であり、機械の功績ではない。機械は人々が作成したアルゴリズムを実行しただけだ。このことは、狭い領域の課題に成功したAIを、次の課題向けに変換するのに何年もの努力が必要な理由を説明している。 数時間で世界クラスの囲碁をプレイすることを学んだ「アルファゼロ（AlphaZero）」でさえ、2017年以降、適用領域を大幅には拡大していない。深層学習などの方法は一般的だが、特定のタスクにうまく適用させるには、人間の広範な介入が必要となる。
さらに広く言えば、機械学習は過去10年ほどにおけるAIの成功の中核だ。しかし「機械学習」という用語は誤った呼び名だ。機械は人間の豊富で多目的な学習能力の狭いほんの一部しか備えていない。つまり、機械が学ぶと言うのは、赤ちゃんペンギンが魚の釣り方を知っていると言うようなものだ。現実には、大人のペンギンが泳ぎ、魚を捕獲し、それを消化し、くちばしに逆流させ、子供の …