深層学習（ディープラーニング）は、エネルギー効率が悪く、大量のエネルギーを消費する。莫大な量のデータと豊富な計算力のリソースを必要とし、電力消費が爆発的に増える。ここ数年間、全体的な研究動向がこの問題を悪化させてきた。数十億個のデータを使って数日間訓練する巨大な規模のモデルが流行しており、この傾向は当分の間、廃れることがないだろう。
新しい方向性を急いで見つけようとしてきた研究者たちもいる。例えば、より少ないデータで訓練可能なアルゴリズムや、そのようなアルゴリズムの実行を高速化できるハードウェアなどだ。そして今、IBMの研究者たちは異なる方法を提案している。彼らのアイデアは、データを表すのに必要なビット数、つまり「1」と「0」の数を減らすというものだ。現在の業界標準である16ビットから、わずか4ビットにするというのだ。
この取り組みは、毎年開催される世界最大級の人工知能（AI）研究カンファレンスである「神経情報処理システム（NeurIPS：Neural Information Processing Systems）」（2020年12月6日 ～12月12日）で発表された。深層学習の訓練速度を7倍以上に高速化し、エネルギー費用を7分の1以下に削減できる可能性があり、スマートフォンをはじめとする小型デバイスで強力な人工知能（AI）モデルを訓練できるようになるかもしれない。実現すれば、個人情報をローカルデバイスに留めておけるようになり、プライバシーが改善される。さらには、豊富なリソースを有する巨大テック企業に属していない研究者たちにとって、深層学習がもっと手の届きやすいものになるだろう。
ビットはどのように機能するのか
コンピューターは「1」と「0」を使って情報を保存するということはおそらく耳にしたことがあるだろう。この情報の基本単位は、ビットとして知られている。ビットが「オン」である時は「1」に相当し、「オフ」の時は「0」になる。言い換えれば、各ビットにはたった2つの情報しか保存できない。
しかし、ビットを繋ぎ合わせると、コード化できる情報量が指数関数的に増大する。2ビットは、2の2乗の組み合わせがあるので、「00」、「01」、「10」、「11」の4つの情報を表せる。4ビットは2の4乗で16個の情報を表すことができ、8ビットは2の8乗、つまり256個の情報を表すことができるといった具合だ。
複数のビットの適切な組み合わせによって、数字や文字、色といったデータの種類、あるいは、足し算や引き算、比較などの操作の種類を表せる。最近のノート型パソコンのほとんどは、32ビット、または64ビットのコンピューターだ。これは、このコンピューターが合計で2の32乗、または2の64乗個の情報しかコード化できないという意味ではない（そうだとしたら非常に貧相なコンピューターだ）。それだけの数のビットからなる複雑性を、各データや個別の操作のコード化に使用できるということなのだ。
4ビットの深層学習
それでは、4ビットの訓練とは何を意味するのだろうか。手始めに、4ビットのコンピューターがあるとしよう。つまり、4ビットの複雑性だ。これについて考えてみる方法は、例えば次の通り …