ディープシークは省エネではない？ 推論ブームで新たな懸念

中国発のAIモデル「DeepSeek-R1（ディープシーク-R1）」が話題を独占している。さまざまな業界関係者が多種多様な講評を残しているが、正確さはまちまちだ。このモデルが個人データを収集しているという話（その可能性はある）、これまでのAIの常識を覆すという話（結論を出すにはまだ早いが、本誌のウィル・ダグラス・ヘブン編集者による解説記事は必読）、そしてDeepSeek-R1の斬新で効率的な手法により、現状のAIが消費する大量の電力は必然ではないことが示されたという話などが飛び交っている。

このうち、最後の主張は誤解を招くものである。その理由が、MITテクノロジーレビューに新たに提供されたデータから明らかになった。この初期データは、DeepSeek-R1の小規模モデルのひとつに少数のプロンプト（指示テキスト）を与えた結果に基づいており、同程度の規模を持つメタ（Meta）のモデルと比較して、回答生成時により多くの電力を消費する可能性を示している。DeepSeek-R1の課題は、訓練段階ではエネルギーを節約できるものの、質問への回答時にはより多くのエネルギーを消費し、さらに生成される回答が長くなる傾向がある点である。

さらに、DeepSeek-R1の手法に触発された他のテクノロジー企業が、同様の低コスト推論（reasoning）モデルの開発に乗り出す可能性があることから、AI全体の電力消費に対する見通しはすでに楽観的とは言いがたい状況になっている。

大規模言語モデル（LLM）の処理は大きく2つの段階に分けられる。訓練と推論（inference）だ。訓練は数カ月に及ぶプロセスで、この段階でモデルはデータから学習する。その後、世界中の人々がモデルに何かを質問するたびに実行されるのが推論である。これらの処理はいずれも通常、データセンターで実行され、チップの稼働やサーバーの冷却に大量の電力を消費する。

DeepSeek-R1の訓練段階について、開発チームは「専門家の混合（MoE：Mixture of Experts）」と呼ばれる手法を改良し、訓練段階の特定の時点で数百億あるパラメーター（より良い答えを生成するためにモデルが利用する「つまみ」）のうちの一部だけを使用するようにした。さらに特筆すべきは、強化学習の手法も改良し、モデルが出力した内容を評価して、回答のさらなる改善に利用するようにしたことである。これには通常、人力によるアノテーションが利用されるが、DeepSeek-R1の開発チームはそのプロセスの自動化に成功した。

訓練の効率を上げる手法の登場は、AI企業各社がモデルの性能を一定水準に引き上げるまでに消費する電力を節約できることを意味するように思える。しかし、現実にはそううまくはいかない。

「より賢いシステムを実現することが最優先」となるため、「企業はモデルの訓練にかける投資を減らすのではなく、むしろ増やすようになります」。アンソロピック（Anthropic）の共同創業者で最高経営責任者（CEO）を務めるダリオ・アモデイは自身のブログでこう指摘している。企業が投資に対して多くの見返りを得られるようになれば、さらに投資する価値があるとみなされ、結果としてさらに多くの電力が消費されることになるのだ。「コスト効率の恩恵はすべて、より賢いモデルの訓練に費やされることになり、この流れに歯止めがかかるのは企業の資金力が限界に達したときだけで …

人気の記事ランキング

1. Why the next energy race is for underground hydrogen 水素は「掘る」時代に？ 地下水素は地球を救うか
2. The second wave of AI coding is here マシン・プログラミングで 人海戦術に終止符、 AIコーディングに第二の波
3. This quantum computer built on server racks paves the way to bigger machines ザナドゥ、12量子ビットのサーバーラック型光量子コンピューター
4. How a top Chinese AI model overcame US sanctions 米制裁で磨かれた中国AI「DeepSeek-R1」、逆説の革新