まるで本物！ あなたも機械学習でプロのダンサーになれる

ある人の動きを別の人の動きにマッピングする技法が、映画制作者、アニメーター、ゲーム・デザイナーの動作の創作方法を変えた。この技法を使えば、ある人が、別の人がしているのと同じようにダンスをしたり、走ったり、射撃をしたりしているような映像を作ることができる。

この技法では、さまざまなセンサーとカメラを使用して動きを監視し、人の姿勢を3D画像に変換することが必要になる。しかし、こうした作業は一般的に、コストも時間もかかってしまう。そのため、カメラ1台で撮影した2D映像を使って同じ技法を実現できれば、極めて革新的なものになるだろう。

カリフォルニア大学バークレー校のキャロライン・チャンたちは、カメラ1台による2D映像を用いて、「動きをまねる」優秀なモーション・トランスファーの技法を考案した。チャンらの技法を使えれば、プロのダンサーのパフォーマンスを比較的容易にアマチュアに転写することが可能となる。

チャンたちの新しい手法は簡単なものだ。まずは、映像を2つ使用する。1つは、動きを転写される側の人（ソース）を撮影した映像、もう1つは、ソースの動きを適合させる側の人（ターゲット）の映像だ。

「ソースとなる人の映像とターゲットとなる人の映像を用意して、ソースの動きと同じ動きをするターゲットの新しい映像を作成することが目標です」とチャンたちはいう。

そのためにチャンたちは、ターゲットの映像を1コマごとに作成するアプローチを採った。まず、ソース映像の1コマの姿勢を、ターゲット映像の1コマにマッピングすることを目指す。「ゴールは、ソースの一連のコマとターゲットの一連のコマの間で、画像から画像への翻訳をすることです」。

そのための1つの方法として、ターゲットとなる人のさまざまな動きを録画し、取り得るあらゆる姿勢 …

人気の記事ランキング

1. Bringing the lofty ideas of pure math down to earth 崇高な理念を現実へ、 物理学者が学び直して感じた 「数学」を学ぶ意義
2. Google’s new Project Astra could be generative AI’s killer app 世界を驚かせたグーグルの「アストラ」、生成AIのキラーアプリとなるか
3. These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
4. AI’s search for more energy is growing more urgent 生成AIの隠れた代償、激増するデータセンターの環境負荷