フラッシュ2024年5月10日

• 人工知能（AI）

  AIモデルの再学習コストを大幅に削減、NTTが新手法

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  NTTは、深層学習において過去の学習過程をモデル間で再利用する新たな仕組みとして「学習転移」技術を開発した。生成AIなど大規模な基盤モデルを、用途ごとに追加学習（チューニング）して利用する場合に不可欠な、基盤モデルの更新に伴う再チューニングのコストを大幅に削減できる。生成AIの運用容易化や適用領域拡大、消費電力の削減に貢献するという。

  生成AIを利用する際には、各企業や組織の要件に対応するため、個々のデータセットを用いた追加学習により基盤モデルをチューニングするのが一般的だ。しかし、チューニングした生成AIは、基盤モデルの更新時や変更時に再チューニングが必要となり、多大な計算コストが生じることが課題となっている。

  NTTは今回、ニューラルネットワークのパラメータ空間にある高い対称性に着目。置換変換と呼ばれるニューロンの入れ替えに関する対称性の下で、異なるモデル間の学習過程同士を近似的に同一視できることを発見した。

  さらに、この発見に基づき、過去の学習過程を適切な「置換対称性（ニューロンの入れ替えによりパラメータが変わっても、全体の出力は変わらないという性質）」によって変換することで、新たなモデルの学習過程として再利用できる「学習転移」技術を提唱。同技術を用いることで、低コストな変換のみにより一定の精度を達成することができ、学習転移後に追加の学習をすることで目標精度に早く収束することを示した。

  今回の成果は、2024年5月7日から11日までオーストリア・ウイーンで開催される「表現学習国際学会（ICLR 2024）」で発表される。

  （中條）

  • 11

• 人気の記事ランキング

  1. It’s pretty easy to get DeepSeek to talk dirty 「お堅い」Claude、性的会話に応じやすいAIモデルは？
  2. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
  3. Google’s new AI will help researchers understand how our genes work グーグルが「アルファゲノム」、遺伝子変異の影響を包括的に予測
  4. Tech billionaires are making a risky bet with humanity’s future マスク、アルトマン、ベゾス ——テックセレブたちが描く 未来への「危険な賭け」
  5. Why AI hardware needs to be open オープンAIが目指す「iPhoneの次」に期待すべきではない理由