もし、フェイスブックがサイトのモデレーション（監視）を今すぐ止めたら一体どうなるか想像してほしい。誰でもが好きな内容を投稿できるようになる。これまでの経験からすると、そうなればあっという間にサイトは無法地帯となり、 スパムやいじめ、犯罪、テロリストによる斬首映像、ネオナチの書き込み、児童への性的虐待画像などであふれかえるだろう。そうなればユーザーの多くがサイトから離れ、収益性の高い広告主もそれに続く可能性がある。
しかし、コンテンツの節度を保つモデレーション業務が非常に重要であっても、業務自体はそのようには扱われていない。有害コンテンツを1日中削除する1万5000人のコンテンツ・モデレーターの大多数は、フェイスブックで働いてすらいない。モデレーション業務のすべては下請け企業に外注されており、世界中の20以上の拠点において不安定な雇用形態で雇用されている。コンテンツ・モデレーターは1日に何百もの投稿をチェックする必要があり、その多くは深いトラウマを与えるものだ。誤りも多く、人工知能（AI）ツール を使用して注意が必要な投稿の優先順位付けをしているが、フェイスブック自身も10%のエラー率を認めている。削除を必要としない投稿に削除すべきと誤ったフラグが付いている場合でも、その逆の場合でも同じだ。レビュワーが毎日300万件の投稿を判断しなければならないことを考えると、毎日30万件の間違いがあることになる。いくつかのエラーは、致命的な影響を及ぼす可能性がある。例えば、ミャンマー軍は2016年と2017年にフェイスブックを使い、主にイスラム教徒のロヒンギャ少数派に対する大量虐殺を扇動したが、フェイスブック側はその後、ヘイトスピーチや暴力の扇動を禁止する独自のポリシーの実施に失敗したことを認めた。
ニューヨーク大学スターン・ …