The Algorithm Expanding the Science of Color

マティス風、ゴッホ風に写真を加工するアルゴリズム

インスタグラムのフィルターのように画面の色合いを全部書き換えてしまうのではなく、色の組み合わせをクラスター化し、クラスター単位で画像の色を変換できるアルゴリズムの誕生だ。新しい画像フィルター機能など、画像アプリに応用できる。 by Emerging Technology from the arXiv2017.04.03

The color palettes extracted from fine art paintings. — 絵画から抽出されたカラーパレット

色の研究に革命が起きつつある。従来、色の理論は大まかな科学に基づいたアイデアの寄せ集めでしかなかった。

しかし、マシン・ビジョンのアルゴリズムで画像の巨大データセットを分析できるようになり、状況が変わった。突然、従来とはまったく異なる方法で、色や色の使われ方を研究できるようになったのだ。たとえば、ある絵から色の組み合わせを取り出し、別の絵にペーストするような処理が、簡単にできるようになった。

ただし、色の置き換え処理では雑なやり方が使われている。現在主流の方法でも、ある絵の色の組み合わせを別の絵の色の組み合わせで置き換えられるが、カラーパレットを比較して、それぞれの色をどんな対応関係で変換するのかを決めたり、あるいは1対1で置き換えるには色が足りないことを事前には調べたりできない。

問題は、色を順に配置する手段がないことだ。パレットを比較して、2番の色を4番と取り替える、といったことがやりにくい。画像の専門家は、画像から色を取り出し、並べる方法が手に入れば、パレットを比較したいはずなのだ。

まさにその方法を、デンマーク工科大学（コペンハーゲン）のユイ・ファン研究員のチームが考案した。研究チームの手法は実行が簡単で、現在利用できる方法よりずっと柔軟で強化された次世代画像フィルターの開発に、すぐにでもつながる。

基本的な問題は簡単だ。ふたつの画像からカラーパレットを取得し、「意味のある」比較をするには、どの順番で色を並べればいいか？である。この場合「意味のある」とは、同じ対象を描写している色同士は比較できる、ということだ。

研究チームは、この問題をある種のソート処理とみなすことにした。研究チームはまず、画像内のそれぞれの色（パレット）の位置を3次元の色「空間」内に記録して画像を評価することにした（たとえば、どんな色も、赤、緑、青の組み合わせの3つのベクトルで表現できる、と考えられる）。

次に研究チームは、パレット内の色の各ペア間の距離を測定する。最後に研究チームは、一方のパレットをもう一方に最小の歪みでどう対応させるかを解くためにアルゴリズムを使う。アルゴリズムは、各パレットの色空間内のクラスターを効率的に見つけ出す。

研究チームが使うデータセットは重要だ。「我々は美術絵画のコレクションから抽出したカラーパレットが、様式的で独特なカラーテーマの豊富なソースになると考えています」と研究チームはいう。

データセットはまた、絵画の主題から、決定的な制約を受ける。アンリ・マティスの作品には、深い赤と緑が頻繁に使われるが、一方でマクシミリアン・リュスは、対象の陰影を濃い青や黄で表現する。とはいえ、ふたりの画家は大まかには似たような場面（たとえば空と陸地にわかれている場面）を絵に描くため、色を比較できる。

つまり研究チームは、前提として、同じような色のクラスターは同じような対象を描写していると考えている。アルゴリズムはクラスター同士を対応させることで、一方の画像の空の色合いを抽出し、同じカラーセットをもう一方の画像の空に適用できるのだ。

このようにして、色の変換を絵画全体に適用すれば、パレットのどの色でも、他のパレット内のどの色に一致させればいいか、簡単に対応を求められるわけだ。

このように考えると、色の順番を適切に並べる方法につながる。研究チームはまず、各クラスターに現れる色の数を調べ、色数の標準例として5色を使う（もっと大きくすると、著しく高い計算量が必要になる）ことにした。

アルゴリズムは、最初のクラスターで5色を見つけると、2番目、3番目のクラスターへと処理を続けていく。こうしたクラスターの順番を決めることで、それぞれの画像のパレットを簡単に比較できるようになる。

この手法は、すぐにでも何か面白いアプリに使える。たとえば、研究チームは、インスタグラムのフィルターのように変換するが、画像全体の色を変換するのではなく、特定の色空間内でだけ処理するアプリ「フォトスタイル・エクスプローラー」を作った。「あらかじめ定義されたいくつかのテーマから選ぶのではなく、このアプリでは写真の色をクラスター単位で自在に行き来して、好みのテーマを選べる」と研究チームはいう。

また、画像内の異なる部分のカラーパレットを使って、写真の色を付け直す機能もある。たとえば、あるパレットで空の色を付け直したり、別のパレットで樹木の色を付け直したりできる。

こうした機能により、画家の色の特徴をより正確に分析し、特徴を別の画像に移し替えられる。つまり、ルノワールやビンセント・ファン・ゴッホのカラーパレットで、写真の色を付け直せるのだ。

この研究は、画像について色が使える手法を拡張する興味深い研究だ。

参照：http://arxiv.org/abs/1703.06003: カラーオーケストラ: 補正と予測のためのカラーパレットの順序付け

人気の記事ランキング

タグ	インスタグラムカラー・パレット

エマージングテクノロジーフロムアーカイブ [Emerging Technology from the arXiv]米国版寄稿者: Emerging Technology from the arXivは、最新の研究成果とPhysics arXivプリプリントサーバーに掲載されるテクノロジーを取り上げるコーネル大学図書館のサービスです。Physics arXiv Blogの一部として提供されています。メールアドレス：KentuckyFC@arxivblog.com RSSフィード：Physics arXiv Blog RSS Feed