映像に合ったリアルな音を機械学習で生成、アドビらが開発

機械学習は、画像と画像を作る方法に関する考え方を変えつつある。研究者は顔を作成したり、漫画を描いたり、写真を絵画風に加工する方法を機械に学習させてきた。こうした方法をもう少し進化させれば、映像も生成できるはずだし、実際にそれは現実になりつつある。

映像を生成するということは、完全なバーチャル環境を機械によって作り出すことを指している。これが実現できれば、人間が経験する未来に対する、あらゆる可能性が開かれる。

だがそこには1つの問題がある。映像はただの視覚的体験だけではない。本物のような音声を生成することも、映像を生成するのと同様に重要だ。つまり、興味深い疑問点は、機械が映像の音声部分を本物らしく生成できるかどうかということだ。

ノースカロライナ大学チャペルヒル校のイーピン・シュウらとアドビ・リサーチの研究者の功績により、この疑問に対する答えが出た。研究チームは、短いビデオ・クリップに本物のようなサウンドトラックを付ける方法を機械学習アルゴリズムに学習させた。

実際に、機械が作り出す音声は、ほとんどの人間が本物だと勘違いするほどリアリティにあふれている。この動画の音を聞いて、本物の音と生成した音との違いを聞き分けてみてほしい。

研究チームは、機械学習の標準的な手法を採用している。アルゴリズムの優劣は訓練するために使 …

人気の記事ランキング

1. The humans behind the robots 家事ロボット、実は8割は遠隔操作　あなたは受け入れられますか？
2. Promotion Innovators Under 35 Japan × CROSS U 無料イベント「U35イノベーターと考える研究者のキャリア戦略」のご案内
3. Can Afghanistan’s underground “sneakernet” survive the Taliban? タリバン政権下で生き残りをかける「コンテンツ密売人」たち
4. The 8 worst technology failures of 2024 MITTRが選ぶ、 2024年に「やらかした」 テクノロジー8選
5. The biggest AI flops of 2024 「7つの失敗」で振り返る 2024年のAIシーン

▼Promotion