多くの人は、往々にして相手の話し方で、どのような人か判断してしまう。一部の人工知能（AI）システムもまた、方言や言葉遣いに対する偏見を学習している。言語ベースのAIが今まで以上に一般的になると、一部の少数派に属する方言は機械によって自動的に排除される可能性があると、研究者らが警告している。
きつい方言や特定の集団特有の話し方をする人なら誰でも、シリ（Siri）やアレクサ（Alexa）に理解されにくいと感じているかもしれない。音声認識システムは発話の内容を文法的に解釈するために自然言語テクノロジーを使用しているからだ。自然言語テクノロジーは、しばしばサンプルデータで訓練されたアルゴリズムに頼っているため、特定の方言や、ある集団特有の話し方のサンプルが十分ではない場合、システムはまったく理解できないかもしれない（「人工知能と言語」参照）。
この問題は、多くの人が気づいているよりもさらに広範囲で、有害かもしれない。自然言語テクノロジーは現在、自動通話やチャットボットを利用して顧客とのやり取りを自動化する原動力となっている。また、Webやソーシャル・ネットワークで展開されている意見の掘り起こしや、文章内に含まれる有用な情報を丹念に探すためにも使われている。つまり、言語システムによって構築されたサービスや製品は、システムが理解できない特定のグループに対して、すでに不公平である可能性を意味している。
マサチューセッツ大学アマースト校のブレンダン・オコナー助教授と彼が指導する大学院生のスー・リン・ブロジェットは、ツイッターでの言語の使われ方を調査した。2人の研究者は人口統計学のフィルタリングを使い、アフリカ系アメリカ人による俗語や、その集団特有の話し方を含む可能性が高い5億9200万件のツイートを収集した。そして自然言語処理ツールがどのように扱うかを調べるために、このデータセットでいくつかのツールを試験した。2人の発見によると、ある人気のツールは、これらの投稿を高い信頼性をもってデンマーク語と分類した。
「もし政治家についての意見を調べるためにツイッターを分析するなら、アフリカ系アメリカ人や若者が発言している内容を考慮さえしていないことになります。これは問題になるでしょう」と、オコナー助教授は話す。
2人はまた、意味や感情を調べるために文章を分析する人気のある機械学習ベースのAPIを試験して、これらのシステムもまた苦戦していることを発見した。「感情分析システムを購入したとして、それにどのような先入観が含まれているかさえも分からないのです」とオコナー助教授はいう。「このような先入観に対して、私たちは多くの検査方法や知識を持ち合わせていません」。
この問題は言語を使用するあらゆるシステムで起こり得ることであり、それには検索エンジンも含まれると、オコナー助教授はいう。
AIアルゴリズムから発生するこの不公正の問題は、こうしたアルゴリズムがより広範囲で使われるようになるにつれて、情報の出所について注意を払う必要がある。潜在的な差別の可能性があるとして論争の的になっている例にコンパス（Compass）と呼ばれる独自アルゴリズムがある。コンパスは刑務所にいる受刑者に仮釈放を認めるかどうかを決定するために使用されている。コンパスのアルゴリズムの仕組みは不明だが、ある研究ではこのアルゴリズムは黒人に対して差別的であると指摘されている。
しかし、専門家の中には、偏見のあるアルゴリズムの問題は、一般で語られているよりもさらに深刻な可能性があり、金融、保健医療、教育における意思決定の増加に影響を及ぼしていると話している（ 「「人間はアルゴリズムを信頼しすぎ」グーグルの研究者らが警鐘」参照）。
オコナー助教授たちはAIにおける差別の調査を専門に扱うワークショップで自身の研究を発表した。この「機械学習における公正と透明性」と呼ばれるイベントは、2017年までは大きなデータ科学学会の分科会だったが、2018年には単独の学会となる予定だ。イベントの共同創設者でコーネル大学のソロン・バローカス助教授は、 AIシステムの差別問題への関心は高まっており、多くの研究者が調査していると話す。
アルゴリズムの公正性と公共政策を研究するスタンフォード大学のシェアード・ゴエル助教授は、この問題は簡単ではないと話す。アルゴリズムを差別的だと過度に糾弾するのは単純すぎると、ゴエル助教授は注意を促す。なぜなら、アルゴリズムは意図した通りに働き、正確な予測と広範な社会的偏見を単に反映しているに過ぎない場合があるからだ。「アルゴリズムが何をしているのか、そしてその理由を明確にしてから、それがアルゴリズムの働きとして妥当かどうかを決める方が良いでしょう」と、ゴエル助教授はいう。