映像に合ったリアルな音を機械学習で生成、アドビらが開発

機械学習は、画像と画像を作る方法に関する考え方を変えつつある。研究者は顔を作成したり、漫画を描いたり、写真を絵画風に加工する方法を機械に学習させてきた。こうした方法をもう少し進化させれば、映像も生成できるはずだし、実際にそれは現実になりつつある。

映像を生成するということは、完全なバーチャル環境を機械によって作り出すことを指している。これが実現できれば、人間が経験する未来に対する、あらゆる可能性が開かれる。

だがそこには1つの問題がある。映像はただの視覚的体験だけではない。本物のような音声を生成することも、映像を生成するのと同様に重要だ。つまり、興味深い疑問点は、機械が映像の音声部分を本物らしく生成できるかどうかということだ。

ノースカロライナ大学チャペルヒル校のイーピン・シュウらとアドビ・リサーチの研究者の功績により、この疑問に対する答えが出た。研究チームは、短いビデオ・クリップに本物のようなサウンドトラックを付ける方法を機械学習アルゴリズムに学習させた。

実際に、機械が作り出す音声は、ほとんどの人間が本物だと勘違いするほどリアリティにあふれている。この動画の音を聞いて、本物の音と生成した音との違いを聞き分けてみてほしい。

研究チームは、機械学習の標準的な手法を採用している。アルゴリズムの優劣は訓練するために使 …

人気の記事ランキング

1. Anthropic can now track the bizarre inner workings of a large language model 大規模言語モデルは内部で 何をやっているのか？ 覗いて分かった奇妙な回路
2. Promotion MITTR Emerging Technology Nite #32 Plus 中国AIをテーマに、MITTR「生成AI革命4」開催のご案内
3. AI companions are the final stage of digital addiction, and lawmakers are taking aim SNS超える中毒性、「AIコンパニオン」に安全対策求める声
4. What is vibe coding, exactly? バイブコーディングとは何か？ AIに「委ねる」プログラミング新手法
5. Tariffs are bad news for batteries トランプ関税で米電池産業に大打撃、主要部品の大半は中国製