人工知能(AI)産業はよく石油産業に例えられる。いったん採掘され、精製されると、データは石油のようにとても儲かる商品になる。今日、この比喩はもっと大きな意味を持つものになりそうだ。化石燃料と同様、深層学習のプロセスは環境にかなり大きな影響を与えるからだ。
マサチューセッツ大学アマースト校の研究チームは、一般的な大規模AIモデルの訓練について、ライフ・サイクル・アセスメント(LCA:製品やサービスのライフサイクル全体に関する環境影響評価)を実施した(論文はこちら)。その結果、大規模AIモデルの訓練は、二酸化炭素換算量で約284トン以上を排出することが明らかになった。平均的なアメリカ車が耐用年数内に放出する炭素量(車両の生産を含む)のほぼ5倍に相当する値だ。
AI研究者は以前からうすうす気づいてはいたものの、衝撃的な値である。「おそらく、私たちの多くはこれまで抽象的に漠然と捉えていたと思います。発表された数字は問題の深刻さを示しています」。スペインのア・コルーニャ大学のコンピュータ科学者であるカルロス・ゴメス・ロドリゲス准教授はこう話す(同准教授は今回の研究には関わっていない)。「私自身も、二酸化炭素の排出について一緒に議論した研究者も、環境への影響がそれほど重大だとは思っていませんでした」。
自然言語処理の二酸化炭素排出量を調査
この論文では、自然言語処理(NLP)モデルの訓練プロセスを重点的に検証している。 NLPは、機械に人間の言語を教え、処理させることに特化したAIのサブ分野である。過去2年間、NLPの研究コミュニティは、機械翻訳、文章完成法、その他の標準的なベンチマーク・タスクにおいて、いくつかの著しい成果を上げている。たとえば、オープンAI(OpenAI)の有名なモデル「GPT-2」は、説得力のあるフェイクニュース記事を書くことに卓越している。
だが、精度の高いNLPには、インターネット上から収集した大量の文章のデータセットを使った、より大規模なモデルの訓練が必要になる。計算コストが高く、極めて大きなエネルギーを消費して …