KADOKAWA Technology Review
×
【1/31東京開催】若手研究者のキャリアを語り合う無料イベント 参加者募集中
大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量
Stephanie Arnett/MITTR | Envato
人工知能(AI) Insider Online限定
We’re getting a better idea of AI’s true carbon footprint

大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量

大規模言語モデルの構築に伴い、二酸化炭素が大量に排出される。AIスタートアップ企業ハギング・フェイスは業界で初めて、AIモデル構築のライフサイクル全体における二酸化炭素排出量を推定する手法を考案した。 by Melissa Heikkilä2022.11.18

大規模言語モデル(LLM)には不都合な秘密がある。訓練と運用に大量のエネルギーが必要になることだ。その上、大規模言語モデルのカーボン・フットプリント(CFP)が実際どれほど大きいのか、正確なところはいまだ若干謎に包まれている。人工知能(AI)スタートアップ企業であるハギング・フェイス(Hugging Face)は、モデルの訓練中だけでなく、ライフサイクル全体にわたっての排出量を見積もることで、より正確にカーボン・フットプリントを推定できる、新たなよりよい手法を編み出したという。

AIによる環境への影響を評価する取り組みを強化するよう専門家らが業界に求める中、今回の手法は、テック企業によるAI製品のカーボン・フットプリントに関する、より現実的なデータの提示につながる可能性がある。ハギング・フェイスの研究は、査読なし論文として公開されている。

ハギング・フェイスは、新たな手法をテストするために、今年リリースした自社の大規模言語モデル「ブルーム(BLOOM)」の全体的な排出量を推定した。推定の過程では多くの数値が合算された。スーパーコンピューターでモデルを訓練するために使用するエネルギー、スーパーコンピューターのハードウェア製造とコンピューティング・インフラの維持に必要なエネルギー、ブルーム稼働開始後の運用に使われるエネルギーなどである。研究チームは、「コードカーボン(CodeCorbon)」というソフトウェアを用いて運用時のエネルギーを算出し、18日間にわたってリアルタイムでブルームの二酸化炭素排出量を追った。

ハギング・フェイスはブルームの訓練により、25トンの二酸化炭素が排出されたと推定していた。しかし、訓練に用いられるコンピューター機器の製造、より広範なコンピューティングインフラ、ブルームの訓練後、実際に運用する際に必要なエネルギーを考慮に入れると排出量は2倍になることが、今回の研究で明らかになった。

1つのモデルの排出量としては多いように思えるかもしれない。二酸化炭素排出量50トンは、ロンドンとニューヨーク間の約60回のフライトと同等だ。しかし、同規模の他の大規模言語モデルに比べれば、はるかに少ない。ブルームがフランスのスーパーコンピューターで訓練されているからだ。フランスは、電力の大部分を二酸化炭素が排出されない原子力発電に頼っている。化石燃料への依存度がより高い電力網を持つ、中国やオーストラリア、米国の一部の地域で訓練されるモデルは、より多くの汚染を引き起こすだろう。 …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
【冬割】実施中! 年間購読料20%オフ!
人気の記事ランキング
  1. OpenAI has created an AI model for longevity science オープンAI、「GPT-4b micro」で科学分野に参入へ
  2. Promotion Innovators Under 35 Japan × CROSS U 【1/31開催】若手研究者対象・キャリア戦略を考える無料イベント
  3. 10 Breakthrough Technologies 2025 MITTRが選んだ 世界を変える10大技術 2025年版
  4. Interest in nuclear power is surging. Is it enough to build new reactors? 原発への「追い風」は発電所新設を後押しするか?
▼Promotion
MITTRが選んだ 世界を変える10大技術 2025年版

本当に長期的に重要となるものは何か?これは、毎年このリストを作成する際に私たちが取り組む問いである。未来を完全に見通すことはできないが、これらの技術が今後何十年にもわたって世界に大きな影響を与えると私たちは予測している。

特集ページへ
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る