ある人の動きを別の人の動きにマッピングする技法が、映画制作者、アニメーター、ゲーム・デザイナーの動作の創作方法を変えた。この技法を使えば、ある人が、別の人がしているのと同じようにダンスをしたり、走ったり、射撃をしたりしているような映像を作ることができる。
この技法では、さまざまなセンサーとカメラを使用して動きを監視し、人の姿勢を3D画像に変換することが必要になる。しかし、こうした作業は一般的に、コストも時間もかかってしまう。そのため、カメラ1台で撮影した2D映像を使って同じ技法を実現できれば、極めて革新的なものになるだろう。
カリフォルニア大学バークレー校のキャロライン・チャンたちは、カメラ1台による2D映像を用いて、「動きをまねる」優秀なモーション・トランスファーの技法を考案した。チャンらの技法を使えれば、プロのダンサーのパフォーマンスを比較的容易にアマチュアに転写することが可能となる。
チャンたちの新しい手法は簡単なものだ。まずは、映像を2つ使用する。1つは、動きを転写される側の人(ソース)を撮影した映像、もう1つは、ソースの動きを適合させる側の人(ターゲット)の映像だ。
「ソースとなる人の映像とターゲットとなる人の映像を用意して、ソースの動きと同じ動きをするターゲットの新しい映像を作成することが目標です」とチャンたちはいう。
そのためにチャンたちは、ターゲットの映像を1コマごとに作成するアプローチを採った。まず、ソース映像の1コマの姿勢を、ターゲット映像の1コマにマッピングすることを目指す。「ゴールは、ソースの一連のコマとターゲットの一連のコマの間で、画像から画像への翻訳をすることです」。
そのための1つの方法として、ターゲットとなる人のさまざまな動きを録画し、取り得るあらゆる姿勢 …