2016年11月8日の夜、チャールズ・フランクリンは、他の数百万人の米国人と同様に大統領選の選挙結果が集計されるのを見守りつつ、「崩れ落ちるような感覚」を覚えていた。ウィスコンシン州在住の世論調査家であるマーケット大学のフランクリン教授（法律および社会政策）は、自身の個人的な政治的志向のせいで悩んでいたわけではない。世論調査家としての評判がかかっていたからだ。わずか1週間前の世論調査結果では、ヒラリー・クリントンはウィスコンシン州で6ポイントリードしていた。だが実際にはクリントンは0.7ポイント差で負けた。
フランクリン教授はABC放送の「ディシジョン・デスク（Decision Desk）」で、専門家が舞台裏で得票数の連絡にしたがって各州がクリントン勝利なのかトランプ勝利なのかを告げるチームの一員として勤務していた。開票結果が集計される午前4時まで見守るうちに、フランクリン教授の世論調査が間違っていることは明らかになった。
フランクリン教授は当時を振り返って、「誰も間違いは犯したくはありません」と話す。「ですから、当然気が滅入りました」。
予想を外した世論調査家はフランクリン教授だけではない。保守系政治サイト「リアルクリアポリティクス（RealClearPolitics）」によると、ウィスコンシン州に30カ所ある投票所のすべてで、投票までの数カ月間、クリントン候補が2位に2〜16ポイント差を付けてトップだった。さらにこの誤差は、クリントンの総合勝利を予測するコンピューターアルゴリズムへの基礎データとして使われ、さらに増幅された。
ドナルド・トランプが当選スピーチを行ない、混乱が収まった後になって、誰もが自らの誤りを認めた。
「私が間違っていたことを思い知らされました」と書いているのは、クリントンの勝率が98パーセントだと発表したハフポスト（HuffPost、当時はHuffington Post）のデータ科学者、ナタリー・ジャクソンだ。
クリントン勝利の可能性が高いと予測した多くの地方放送局も含め、マスメディアは、予測アルゴリズムが失敗だったと公然と非難し始めた。批評家の中には、一部の選挙結果予想家がトランプの勝利を単に「容易にはありそうもないこと」と正確に表現していたことを知り、比較的慎重な言動を取っていた人もいる。しかしマスメディアへの出演者の多くは、選挙結果を予想するという考え自体を疑っていた。一部には、選挙を材料にしてデータ科学の全分野を攻撃する人すらいた。
しかしそれから4年近くが経過して、今回の大統領選挙がぼんやりと姿を現してくる中で、予想家たちは2020年大統領選の早期予想を出し始めている。2016年の大統領選の時の大衆の反発も、予想家たちに行動を思い留まらせることはできず、実際今回は、前回の予想家たちの過ちを繰り返さないことを心に決めた全く新しい人たちが、自称「預言者」となって現れた。
何が間違っていたのか
2016年の世論調査の失敗はさまざまな問題が混じり合って起きた。一部の世論調査では、十分な教育を受けていない白人有権者を十分に調べず、その一方でトランプ支持者の中には投票先の回答を拒否する人もいた。トランプ候補の型破りな戦略は、共和党が非常に強い地方農村部で多くの市民を投票に向かわせた。選挙予想家たちは、これらの人々がそれまでの選挙と同じように投票には行かないものと誤って推測したため、トランプ候補の支持基盤が実際よりも小さく見えてしまった。
ただし、非難のほとんどは世論調査家たちに向いたものの、彼らのデータから勝者を予想した「予測者」たちへの激しい非難が、おそらくはもっと多くあるべきだったはずだ。
「有名な予測家2人がヒラリー・クリントンの勝率を99パーセントとしました」。エコノミスト誌のデータ・ジャーナリストで選挙予想を担当しているG.エリオット・モリスはこう話す。「クリントンが敗退したとき、多くの予測家たちは世論調査家だけを非難しましたが、その理由は、それが簡単な言い訳だったからです」。
予測アルゴリズムを設計したデータ科学者が犯した大きな誤りが少なくとも2つある。1つは、ウィスコンシン州での7ポイント近くのリードをひっくり返される可能性が低いのなら他の重要州（ミシガン州、ペンシルベニア州など）でも同等のリード率を覆される可能性は少ないと推論したことだ。実際には、ある州での世論調査結果に問題があれば、それは類似した他州での世論調査の誤りと相互関係があった。同じ問題には同じ反応があることを世論調査結果の解釈に反映せず、各郡部、各州の投票結果は互いに影響し合わないと推測したことが、クリントンのリードについて自信過剰を招いた。
2つ目は、予測アルゴリズムが投票先未定の有権者の数を警戒サインとして登録しなかったことだ。非常に多くの有権者が投票のその日まで態度を決めず様子見で、トランプ有利の結果に傾く可能性があったため、クリントン候補のリード率は見た目よりもずっと不安定なものだった。
「トランプの逆転は時間の問題でした」。こう話すのは、クリストファー・ニューポート大学のレイチェル・バイトコファー教授（政治学）だ。もしクリントンとトランプが僅差で競合している州で投票日の直前にもっと世論調査がなされていれば、常になく多くの人々が最後の瞬間になって投票所に行くことにアナリストたちが気づいたかもしれない、とバイトコファー教授は言う。
ただし、トランプの勝利を読めなかったのは予測家だけの失敗ではない。たとえ予測家が各候補者の当選可能性を正しく評価した場合でも、一般大衆はその数字の意味が理解できなかったようだ。
選挙運動が終わろうとする頃、私は統計学者のネイト・シルバーが運営する著名なWebサイト「ファイブサーティーエイト（FiveThirtyEight）」で仕事をしていた。私は大統領選とは関係なく、野球のワールドシリーズの仕事をしていた。シカゴ・カブズがクリーブランド・インディアンズとの7回戦で1勝3敗だったとき私は、シカゴ・カブズが優勝できる確率はおよそ6分の1で、それはトランプが大統領になれる確立よりわずかに少ない程度だと書いた。1勝3敗から3連勝して優勝できたのは、ワールドシリーズの113年の歴史で6チームあり、また引き分けまで持ち込んで再試合で勝てたチームも7つあるので、優勝することは確かに可能ではあるが、いつもあることではなかった。その後、シカゴ・カブズもトランプも予想に反して勝ち、（十分に有り得る2つの運命の変わり目なのに）私がそれを現実化させたと非難するヘイト・ツイートが私宛てに殺到した。
「降水確率が20パーセントだと聞いても、普通、人は傘を持って外出しません。もしその後で雨が降って腹が立ったとしても、それは自分の責任でしょう」と言うのはポリティコ（Politico）の編集者であり選挙結果予測家であるスティーブン・シェパードだ。「しかしその20パーセントという確率は、必ずしもそう有り得ないことではありません」。
多くの人は、予測家がどの程度確信して予測しているかを考えることなく、どの候補者（通常はクリントン候補）が勝つという予想を見ていたようだった。クリントン勝利の確率が70パーセントという数字はも …