フラッシュ2024年5月10日
-
人工知能(AI)
AIモデルの再学習コストを大幅に削減、NTTが新手法
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]NTTは、深層学習において過去の学習過程をモデル間で再利用する新たな仕組みとして「学習転移」技術を開発した。生成AIなど大規模な基盤モデルを、用途ごとに追加学習(チューニング)して利用する場合に不可欠な、基盤モデルの更新に伴う再チューニングのコストを大幅に削減できる。生成AIの運用容易化や適用領域拡大、消費電力の削減に貢献するという。
生成AIを利用する際には、各企業や組織の要件に対応するため、個々のデータセットを用いた追加学習により基盤モデルをチューニングするのが一般的だ。しかし、チューニングした生成AIは、基盤モデルの更新時や変更時に再チューニングが必要となり、多大な計算コストが生じることが課題となっている。
NTTは今回、ニューラルネットワークのパラメータ空間にある高い対称性に着目。置換変換と呼ばれるニューロンの入れ替えに関する対称性の下で、異なるモデル間の学習過程同士を近似的に同一視できることを発見した。
さらに、この発見に基づき、過去の学習過程を適切な「置換対称性(ニューロンの入れ替えによりパラメータが変わっても、全体の出力は変わらないという性質)」によって変換することで、新たなモデルの学習過程として再利用できる「学習転移」技術を提唱。同技術を用いることで、低コストな変換のみにより一定の精度を達成することができ、学習転移後に追加の学習をすることで目標精度に早く収束することを示した。
今回の成果は、2024年5月7日から11日までオーストリア・ウイーンで開催される「表現学習国際学会(ICLR 2024)」で発表される。
(中條)
-
- 人気の記事ランキング
-
- How machines that can solve complex math problems might usher in more powerful AI 数学で進化するAI、グーグルの新モデルが示す知性の未来
- A new tool for copyright holders can show if their work is in AI training data AIの訓練に使われたかどうかを判別、「トラップ」ツールが登場
- OpenAI has released a new ChatGPT bot that you can talk to 自然な会話ができるチャットGPT新機能、一般開放を開始
- Quantum computing is taking on its biggest challenge: noise 超越性から優位性、有用性へ 量子コンピューティング、 静かなる革命の足音