まるで本物！ あなたも機械学習でプロのダンサーになれる

ある人の動きを別の人の動きにマッピングする技法が、映画制作者、アニメーター、ゲーム・デザイナーの動作の創作方法を変えた。この技法を使えば、ある人が、別の人がしているのと同じようにダンスをしたり、走ったり、射撃をしたりしているような映像を作ることができる。

この技法では、さまざまなセンサーとカメラを使用して動きを監視し、人の姿勢を3D画像に変換することが必要になる。しかし、こうした作業は一般的に、コストも時間もかかってしまう。そのため、カメラ1台で撮影した2D映像を使って同じ技法を実現できれば、極めて革新的なものになるだろう。

カリフォルニア大学バークレー校のキャロライン・チャンたちは、カメラ1台による2D映像を用いて、「動きをまねる」優秀なモーション・トランスファーの技法を考案した。チャンらの技法を使えれば、プロのダンサーのパフォーマンスを比較的容易にアマチュアに転写することが可能となる。

チャンたちの新しい手法は簡単なものだ。まずは、映像を2つ使用する。1つは、動きを転写される側の人（ソース）を撮影した映像、もう1つは、ソースの動きを適合させる側の人（ターゲット）の映像だ。

「ソースとなる人の映像とターゲットとなる人の映像を用意して、ソースの動きと同じ動きをするターゲットの新しい映像を作成することが目標です」とチャンたちはいう。

そのためにチャンたちは、ターゲットの映像を1コマごとに作成するアプローチを採った。まず、ソース映像の1コマの姿勢を、ターゲット映像の1コマにマッピングすることを目指す。「ゴールは、ソースの一連のコマとターゲットの一連のコマの間で、画像から画像への翻訳をすることです」。

そのための1つの方法として、ターゲットとなる人のさまざまな動きを録画し、取り得るあらゆる姿勢 …

人気の記事ランキング

1. What’s on the table at this year’s UN climate conference トランプ再選ショック、開幕したCOP29の議論の行方は？
2. Google DeepMind has a new way to look inside an AI’s “mind” AIの「頭の中」で何が起きているのか？ ディープマインドが新ツール
3. Google DeepMind has a new way to look inside an AI’s “mind” AIの「頭の中」で何が起きているのか？ ディープマインドが新ツール
4. This AI-generated Minecraft may represent the future of real-time video generation AIがリアルタイムで作り出す、驚きのマイクラ風生成動画