カーネギーメロン大学のヴァージニア・スミス助教授が人工知能（AI）分野での博士研究を始めた頃、一つの疑問があった。複数のマシンに保存されたデータを使ってニューラル・ネットワークを訓練するには、どうすればいいのだろう？ この問いに取り組むうちに、スミス助教授は連合学習（Federated learning）の分野の第一人者となった。連合学習とは、数百から数百万もの独立のソースに散在するデータを使ってニューラル・ネットワークを訓練する方法の総称だ。

グーグルの研究チームが、同社のモバイル・デバイスに適用する手法として、連合学習の概念を初めて導入したのは2017年のことだった。同チームが開発した手法は、数百万のニューラル・ネットワークを、まずローカルに訓練し、その結果をグーグルのサーバーに送ってマスターモデルに統合するというものだった。これにより、データを中央に集中させなくても、それぞれのデバイスに保存されたデータに基づいてマスターモデルを訓練できる。連合学習は、モバイル操作の遅延時間を短縮するだけでなく、ユーザーのデータプライバシーの保護にもつながる。

しかし、無数のAIモデルを統合することにはリスクもある。マスターモデルは平均的なデータはうまく処理できても、外れ値には対応できないかもしれない。例えば音声認識ソフトウェアなら、珍しいアクセントを持つユーザーの発話を認識できない、といった具合だ。

そこでスミス助教授が提唱したのが、「パーソナライズド」連合学習という新たな手法だ。数百万のローカルモデルをたったひとつのマスターモデルに統合するのではなく、もっとも類似度の高いローカルモデルどうしを統合して、比較的少数のモデルを生み出すのだ。この手法では、データの異質性が高くなるほど、最終的に構築されるモデルの数は多くなる。個々のモデルが多くのデバイスのデータから学習するのは同じだが、それらはユーザー集団のなかの特定の部分集団の傾向に適合したものになる。

スミス助教授はまた、デバイスごとの演算能力やメモリ容量の違いを考慮するといった、連合学習のその他の課題にも取り組んでいる。さらに、この分野の発展を促すため、研究者たちが自身の連合学習手法を現実に近いデータセットと環境でテストできる、オープンソース・ツールの共同開発にも携わった。

（Karen Hao）

人気の記事ランキング

1. These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
2. Google’s new Project Astra could be generative AI’s killer app 世界を驚かせたグーグルの「アストラ」、生成AIのキラーアプリとなるか
3. Bringing the lofty ideas of pure math down to earth 崇高な理念を現実へ、 物理学者が学び直して感じた 「数学」を学ぶ意義
4. We saw a demo of the new AI system powering Anduril’s vision for war オープンAIと手を組んだ 防衛スタートアップが目指す 「戦争のアップデート」

• 0