写真をマンガ風に変換するアルゴリズムを比較、ベストな手法は？

ある絵画の画風を、別の画像に移植する「ニューラル・スタイル・トランスファー」の研究はこれまで、ピカソやゴッホといった芸術家の絵を対象にすることが多かった。ワルシャワ工科大学の2人の研究者は、様式化の度合いがより高いマンガを用いて、複数の手法で画風を移植し、どの手法がもっともうまく処理できるかを評価した。 by Emerging Technology from the arXiv2018.10.05

静止画の連続で構成されるマンガは、全体として1つのストーリーを語るという形態をとっている。絵は高度に様式化されていることが多く、マンガ家の能力は称賛の的だ。

しかしマンガの技能を学んだり、完成させたりするのは困難であり、マンガを生み出すのは時間や費用がかかる作業になっている。希望するマンガのスタイルを模倣した画像を自動で生み出す方法があれば、マンガ家や出版社、読者は大喜びするだろう。

実を明かせば、そのようなアルゴリズムはすでに存在する。2015年にドイツの研究者チームが、ある絵の画風を別の絵に移植する方法を見い出した。それ以来、他の研究者たちがこの手法を着実に向上させており、より速く、正確になってきている。

しかしこれまでの研究では、ピカソやヴァン・ゴッホといった芸術家の画風を他の画像に移植したり、普通の写真を夜から昼の景色に変えたりすることに重きが置かれてきた。これらのアルゴリズムは、様式化の度合いがより高いマンガ家の絵にどれだけうまく働くのだろうか。

現在、ポーランドのワルシャワ工科大学のマチェイ・ペスコとトーマス・トリンスキーの研究のおかげで、1つの答えが得られている。2人はさまざまな画風移植の手法をマンガに適用し、結果を比較した。

まずは背景を解説しておこう。画風を移植する手法は、ドイツのテュービンゲン大学のレオン・ガティズと数人の同僚の研究から始まった。ガティズたちは、多層ニューラルネットワークがどのようにして芸術家の画風を記録・分析するのか調べたのだ。多層ネットワークは、それぞれの層が形や色、線といった異なるレベルで画像を分析する複数の層で構成される。

ガティズらの研究の背景にある重要な洞察は、画風は層 …

こちらは有料会員限定の記事です。 有料会員になると制限なしにご利用いただけます。

有料会員にはメリットがいっぱい！

毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
重要テーマが押さえられる。
各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。

【冬割】実施中！年間購読料20%オフ！

人気の記事ランキング