フラッシュ2024年5月10日

• 人工知能（AI）

  AIモデルの再学習コストを大幅に削減、NTTが新手法

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  NTTは、深層学習において過去の学習過程をモデル間で再利用する新たな仕組みとして「学習転移」技術を開発した。生成AIなど大規模な基盤モデルを、用途ごとに追加学習（チューニング）して利用する場合に不可欠な、基盤モデルの更新に伴う再チューニングのコストを大幅に削減できる。生成AIの運用容易化や適用領域拡大、消費電力の削減に貢献するという。

  生成AIを利用する際には、各企業や組織の要件に対応するため、個々のデータセットを用いた追加学習により基盤モデルをチューニングするのが一般的だ。しかし、チューニングした生成AIは、基盤モデルの更新時や変更時に再チューニングが必要となり、多大な計算コストが生じることが課題となっている。

  NTTは今回、ニューラルネットワークのパラメータ空間にある高い対称性に着目。置換変換と呼ばれるニューロンの入れ替えに関する対称性の下で、異なるモデル間の学習過程同士を近似的に同一視できることを発見した。

  さらに、この発見に基づき、過去の学習過程を適切な「置換対称性（ニューロンの入れ替えによりパラメータが変わっても、全体の出力は変わらないという性質）」によって変換することで、新たなモデルの学習過程として再利用できる「学習転移」技術を提唱。同技術を用いることで、低コストな変換のみにより一定の精度を達成することができ、学習転移後に追加の学習をすることで目標精度に早く収束することを示した。

  今回の成果は、2024年5月7日から11日までオーストリア・ウイーンで開催される「表現学習国際学会（ICLR 2024）」で発表される。

  （中條）

  • 11

• 人気の記事ランキング

  1. A Google Gemini model now has a “dial” to adjust how much it reasons 推論モデルは「考えすぎ」、グーグルがGeminiに調整機能
  2. What is vibe coding, exactly? バイブコーディングとは何か？ AIに「委ねる」プログラミング新手法
  3. Anthropic can now track the bizarre inner workings of a large language model 大規模言語モデルは内部で 何をやっているのか？ 覗いて分かった奇妙な回路
  4. Meet the researchers testing the “Armageddon” approach to asteroid defense 惑星防衛の最終戦略 科学者たちが探る 「核爆発」研究の舞台裏