フラッシュ2024年5月10日

• 人工知能（AI）

  AIモデルの再学習コストを大幅に削減、NTTが新手法

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  NTTは、深層学習において過去の学習過程をモデル間で再利用する新たな仕組みとして「学習転移」技術を開発した。生成AIなど大規模な基盤モデルを、用途ごとに追加学習（チューニング）して利用する場合に不可欠な、基盤モデルの更新に伴う再チューニングのコストを大幅に削減できる。生成AIの運用容易化や適用領域拡大、消費電力の削減に貢献するという。

  生成AIを利用する際には、各企業や組織の要件に対応するため、個々のデータセットを用いた追加学習により基盤モデルをチューニングするのが一般的だ。しかし、チューニングした生成AIは、基盤モデルの更新時や変更時に再チューニングが必要となり、多大な計算コストが生じることが課題となっている。

  NTTは今回、ニューラルネットワークのパラメータ空間にある高い対称性に着目。置換変換と呼ばれるニューロンの入れ替えに関する対称性の下で、異なるモデル間の学習過程同士を近似的に同一視できることを発見した。

  さらに、この発見に基づき、過去の学習過程を適切な「置換対称性（ニューロンの入れ替えによりパラメータが変わっても、全体の出力は変わらないという性質）」によって変換することで、新たなモデルの学習過程として再利用できる「学習転移」技術を提唱。同技術を用いることで、低コストな変換のみにより一定の精度を達成することができ、学習転移後に追加の学習をすることで目標精度に早く収束することを示した。

  今回の成果は、2024年5月7日から11日までオーストリア・ウイーンで開催される「表現学習国際学会（ICLR 2024）」で発表される。

  （中條）

  • 11

• 人気の記事ランキング

  1. AI crawler wars threaten to make the web more closed for everyone 失われるWebの多様性——AIクローラー戦争が始まった
  2. Promotion Innovators Under 35 Japan × CROSS U 好評につき第2弾！研究者のキャリアを考える無料イベント【3/14】
  3. Inside the race to archive the US government’s websites 米政府系サイトが続々閉鎖、 科学者らが緊急保存作戦
  4. Useful quantum computing is inevitable—and increasingly imminent それでもなお、 量子コンピューターが 人類に必要な理由
  5. Supersonic planes are inching toward takeoff. That could be a problem. 超音速旅客機が再離陸に向けて加速、環境との両立は可能か？