コンピューター言語学者たちは、ここ数カ月間、機械翻訳がついに人間の翻訳者に追いついたと次々に主張し始めている。
ニューラル・ネットワークを使って文を異言語間で翻訳する手法は、機械学習と人工知能（AI）の絶え間ない大きな進歩のおかげで近年、飛躍的に向上した。だから機械が人間の能力に近づいたといっても、別に驚くべきものではない。事実、コンピューター言語学者らは、主張を裏付ける有力な証拠をすでに手にしている。
だが、チューリッヒ大学の博士課程生であるサミュエル・ローブリらは、シャンパンはまだお預けにすべきだという。研究チームは、同僚の研究成果に反論するつもりはないが、機械翻訳の試験プロトコルは、人間が文書全体をどうやって読むかについて考慮していないと述べている。もしこれを考慮して評価すると、機械の能力は人間よりはるかに遅れをとっているというのだ。
問題は、機械翻訳をどうやって評価すべきかという点だ。 現在のところ、評価は妥当性と流暢性という2つの尺度で評価されている。翻訳が妥当かどうかについては、プロの翻訳者が原文と訳文の両方を読み、原文の意味を訳文がどの程度うまく表現しているかを中心に決めている。流暢性は、単一言語のみを解する読み手が訳文だけを読んで、英語でどれくらいうまく表現されているかを判定して判断する。
コンピューター言語学者は、この方法による評価が役に立つと認めている。しかし、ローブリら研究チームによれば、現在の実施要項は一文レベルのみ …