科学と技術

ディープネットワーク技術で自動的にカラー化された「ローマの休日」予告編がすごい

2016.05.04 20:18 by chaka

古いモノクロの名作映画のカラー化は人手もコストもかかります。最後に人間のチェックを入れざるを得ないがためですが、それではコンピューターにパターンを発見させる「機械学習」を使うとどうなのでしょうか。早稲田大学石川研究室の飯塚里志さんとシモセラエドガーさんが研究する「ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け」技術を使って、自動で彩色された「ローマの休日」予告編はかなりいい線までいっています。

動画はこちらから。既にカラー版は出ているので、そちらと比べてみても面白いと思います。
（自動彩色Automatic Colorization）ローマの休日トレーラー Roman Holiday Trailer (Iizuka,Simo-Serra) – YouTube

モノクロの映像や写真を人間の目で見ながら着色してカラー化する試みは、ごくごく初期から存在していました。人間の目で見ながら着色するものや、モノクロフィルムとカラーフィルムの差を取りだして色を解析する方法など、いろいろな方法があります。

ニューラルネットワークを使う方法では事前に大量の写真を読み込んでおいてモノと色の関係を学習しておきます。そして1コマごとに細かく分解し、学習した形状と似たものは同じ色に塗っていくというのがおおよその仕組み。

古いフィルムで画像が荒れていることを考えれば、かなりいい感じで着色できているのではないでしょうか。
（自動彩色Automatic Colorization）ローマの休日トレーラー Roman Holiday Trailer (Iizuka,Simo-Serra) – YouTube

機械学習による自動彩色には本当にいろいろな方法があって、YouTubeには多くのサンプルが上がっています。こちらはまた「ローマの休日」とは違った方法による着色ですが、人間が彩色したものとだいぶ近くなってきているのがわかります。
魔法使いサリー(Sally the Witch 1966)　ディープラーニングによる自動彩色テスト(Colorization) – YouTube