英国が卒業試験（実質的な大学入学試験）の代替案を模索し始めた当時、その前提は完全に合理的であるように思えた。新型コロナウイルス感染症（COVID-19）の影響で、生徒たちは例年夏に実施されていた実際の試験を受ける機会を失ったため、政府は大学進学を目指す生徒たちを評価する別の方法を探っていた。
さまざまな懸念の中でも特に重要だったのが、公平性の問題だ。試験の代わりに、高校の教師による試験成績の予測が用いられることになったが、こうした予測には年齢やジェンダー、民族性によるバイアスが掛かる可能性があることが過去の研究によって明らかになっている。そこで、一連の有識者会議や協議を経て、資格・試験統制機関であるオフクァル（Ofqual：Office of Qualifications and Examinations Regulation）は、アルゴリズムに目を向けた。そこから事態はひどく間違った方向へと進んでいった。
蓋を開けてみれば生徒たちの40%近くが教師による予測よりも低い試験評価を与えられ、大学進学が危うい状況に追い込まれた。このアルゴリズムを分析したところ、労働者階級や社会的に立場の弱いコミュニティに属する生徒たちが不当に低く評価され、私立学校に通う生徒たちの成績は高くなっていたことが明らかになった。8月16日、この結果に抗議する数百人がロンドンにある教育省のオフィス前に集結し、「くたばれアルゴリズム」と声を上げた。翌日、オフクァルは決定を翻した。生徒たちには、教師が予測した成績、あるいはアルゴリズムが算出した成績のうち、どちらか高い方が実際の成績として与えられることになった。
今回の混乱は、アルゴリズムによる差別のお手本のような一例だと感じられる。今回の件が起こってからアルゴリズムを精査した人々は、事態が間違った方向に進むことは容易に予測できたと指摘している。このアルゴリズムは一部では、生徒たちの過去の学業成績だけでなく、生徒が所属する学校の過去の入学試験の成績も用いて訓練されていた。すなわち、一貫した平均値を出すことを優先し、学校内で突出した成績を持つ生徒たちに不利な形になってしまっていた。
しかし、今回の問題は、間違ったデータの使用やお粗末なアルゴリズムの設計よりも根が深い。より根本的な過失は、オフクァルがアルゴリズムに活路を見出そうとする以前に起こっていた。根本の部分で、当局は最終的な目標を見失っていたのである。その目標とは、不安に満ちた …