5月上旬、グーグルのサンダー・ピチャイCEO（最高経営責任者）は機械学習の研究所で得られた驚異的な成果を開発者たちに発表したとき、明らかに興奮していた。新しい環境や業界に機械学習ソフトウェアを簡単に導入できるようにするために、グーグルの研究者は機械学習ソフトウェアを作成する作業の一部を自動化する方法を考え出したのだ。
しかし、このプロジェクトは、AI研究者の間ではすでに別の理由で評判になっている。機械学習の最先端で競争するためには、膨大なコンピューター・リソースが必要だと見せつけられたからだ。
グーグルの研究者の論文によると、最近の機械学習のパワーアップに不可欠な、高価で高性能なグラフィック・プロセッサー（GPU）800基を同時に使用したという（「10 Breakthrough Technologies 2013: Deep Learning」参照）。研究者がMITテクノロジーレビューに語ったところによると、このプロジェクトでは数百ものGPUを2週間途切れなく占有し、使い続けた。あまりにもリソース集約型の手法をとったために、グーグルでさえも通常の研究プロジェクト以上のものとなった。
膨大なGPUにアクセスする用意がないコーダーが同じようなことをやろうと思ったら、莫大な資金が必要だ。アマゾン・クラウド・コンピューティング・サービスからGPU800基を1週間レンタルするだけで、表示価格で約12万ドルの費用がかかる。
深層学習ソフトウェアに特定の課題のためのデータを供給し訓練するには、後でシステムを実行するよりも多くのリソースを消費するが、いずれにしても相当なエネルギーが必要になる。「コンピューターの能力が今のところ機械学習にとって障害になっています」とスタンフォード大学非常勤教授でマトロイドの創設者レザー・ザデーCEOは述 …