言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。
アラバマ州オーバーン大学とアドビ・リサーチ（Adobe Research）の研究者らがこの欠陥を発見したのは、自然言語処理システムに自身の挙動についての説明（例えば、異なる文が同じ意味を持つと主張する理由）を生成させようとしたときだった。研究者らはこのアプローチをテストしたところ、文中の単語の順序を入れ替えても、説明が変わらないことに気がついた。プロジェクトを主導したオーバーン大学のアン・グエン助教授は、「これは全ての自然言語処理モデルに共通の問題です」と言う。
グエン助教授らの研究チームは、「バート（BERT）」をベースとする最新の自然言語処理システムに着目した。バートは、グーグルが開発した言語モデルであり、「GPT-3」といった最新のシステムの基盤となっている。バートを基盤とするシステムは全て、「グルー（GLUE：General Language Understanding Evaluation）」のテストにおいて人間より高い得点を出している。グルーは、言い換えであるかどうかの判断、文がポジティブまたはネガテイブな感情を表しているかどうかの判断、言語的推論などの言語理解能力を測定するために設計された課題を含む標準的なテストだ。
グエン助教授らの研究チームは、文中の単語の順序が入れ替えら …