ソーシャルメディアの住人になると、まるで新しい都市で暮らしているように感じられる。ソーシャルメディアは世界最高の都市だ。 何百万もの人たちが、両親が夢にも思わなかったようなことをすることができる。ソーシャルメディアの住人たちはともに暮らし、ともに遊び、ともに学ぶことができる。まさに驚くべき都市である。
しかし、不快な一面もある。下水がそのまま通りを流れているようなものだ。大衆の狂乱がその都市を支配することがある。 市民が市民を非難する。関係は取り返しのつかないほど壊れる。
かつて、私の仕事はこの都市を守ることであった。フェイスブック・シビック・インテグリティ（Facebook Civic Integrity）チームの一員であったのだ。このチームでは、デマ、ヘイトスピーチ、嫌がらせ、暴力への呼びかけの拡散を目的としたプラットフォームの悪用といった、インテグリティ（Integrity：健全性）に関わる問題の調査や修正をしていた。チームのメンバーたちは次第に、こういった問題の当事者たちや、費やされた時間、集まったデータのおかげで、その道の専門家になっていった。どんな専門家コミュニティもそうであるように、各メンバーの問題の見方は、少なくともわずかに異なっていた。私は自分の仕事について、都市計画家のようなものと考えるようになっていた。都市は最初から正しく設計されていなければならない。 それには、人々、社会、民主主義が繁栄できるよう、しっかりと作り上げられた地域が必要である。
このアプローチは、従来のアプローチとは異なっている。ソーシャルメディアの世界全体において企業に新たに生まれている、インテグリティ設計のアプローチである。私のようなインテグリティに関わる従業員は、ルールや設計のバグや抜け穴を見つけて、それらを悪用する方法を習得した攻撃者からシステムを守ろうとしている。私たちの仕事は、オンライン上でユーザーが互いに危害を加えるのを体系的に阻止することだ。だが、特定の投稿や人物について、直接決定を下すようなことはそれほどない。その代わりに、インセンティブや情報エコシステム、さらにはシステム全般について考える。ソーシャルメディア企業は、コンテンツ・モデレーションよりもインテグリティの設計を優先する必要がある。そして、世の中の人たちは、ソーシャルメディア企業がそのようにするよう責任を持たせる必要がある。
まず、一歩引いて考えてみよう。ソーシャルメディアが新しい都市であるとしたら、統治がとても難しいのはなぜだろうか？ なぜ実際の都市では、何百万もの市民が数カ月のうちに狂信的な状態になるようなことがないのか？ どのようにしたら、（ゲーマーゲート論争規模の）嫌がらせのない会議を開催したり、人が何も考えずにプロパガンダを吐き出す機械人形のようにはならないクラブを作ったりすることができるのだろうか？ なぜ実際の都市ではナチス勧誘の動きがないのか？ 実際の都市には存在して、バーチャルな都市には存在しないものとは何なのか？
その答えは、「物理的な制限」である。
社会として、私たちはルール、規範、設計パターンを組み合わせ、それらがきちんと機能するよう発展させて、多かれ少なかれ、ある種のひどい行動を抑制してきた。これらのルールは、私たちが超能力を獲得していないことを前提としている。ところがオンラインでは実際に、クローン作成（ボット軍団）、テレポーテーション（同時に多くの場所に投稿できる機能）、変装（自作自演アカウント）などのパワーを持つことができる。実際の都市では、1人の宣伝者が持つ声のスタミナや経済的能力には限界がある。ところがオンラインの都市では、同じ人が毎時間、400グループ（それぞれのグループは数万人で構成されている）に無料で投稿できる。実際の都市では、新しいアイデンティティを獲得するのに、変装や文書の偽造といった多くの苦労が必要である。ソーシャルメディアの都市では、2分間のサインアップのプロセスで新しいアカウントを作成できる。実際の都市には人が住んでいる。ソーシャルメディアの都市では、実はロボットであろう誰かといつでも話ができる。実際の都市では移動に時間がかかる。ソーシャルメディアの都市では、マケドニアの10代の若者が、いともたやすく地球の裏側にいる何千という人たちのアイデンティティを装うことができる。
悪い行動であればあるほど実行したくなるようなシステムでは、事後に罰を与えてもうまくいかない運命にある。しかし、幸いなことに別のアプローチも存在する。結局のところ、実際の都市もすべての人を監視して逮捕することで、問題を解決しているわけではない。手遅れになる前に、公衆衛生キャンペーンやソーシャルワーカーが、人々に手を差し伸べる。ファーマーズマーケットや図書館などの公共スペースを構築して、共同体意識を醸成する。
私たちのチームが都市計画家であるとしたら、プラットフォームのコンテンツ・モデレーターは、警官、裁判官、陪審員の役割を一緒にしたようなものだ。モデレーターたちは、低賃金で過剰な劣等感を抱いた非正規労働者というのが一般的だ。彼らは、問題となる可能性がある何百万もの投稿を評価し …