一人称視点のタイムラプス動画をステディカム並に滑らかにする「HyperLapse」技術の動画

GoProやContour、Google Glassなど体に装着して一人称視点の動画を撮影するカメラが普及してきましたが、早回し動画にするとガクガクした動画になってしまいます。Microsoft社の研究者達は画像処理によって超なめらかな早回し動画「HyperLapse」を得ることに成功しました。

ウェアラブルカメラは体のブレを拾うので、動画は上下左右に揺れ動きます。通常速度での再生ならそれほど大きな問題にはならないのですが、演出や時間短縮のため早回し動画（タイムラプス）にするとこの揺れの感覚も短くなり、ガクガクが目立つようになってしまいます。

すでに動画のブレを撮影後に軽減する技術は確立していますが、これを適用した後にタイムラプス処理をしても効果はそれほどありません。隣接したコマどうしのブレは収まっても、離れたコマでのブレは収まらないからです。

しかしMicrosoft社の研究者が開発した「HyperLapse」手法を使えば、タイムラプスなのに超高速な小型ヘリを飛ばしているかのような、ものすごく滑らかな動画を得られます。
First-person Hyperlapse Videos – YouTube

「HyperLapse」は三段階の処理で得られます。まず、広角レンズで撮影された1コマずつの画像の歪みを補正。後々つなぎ合わせるのに備えます。

そして画像の内容から撮影時にカメラがどのような向きに、どのような速度で動いたのかを解析します。画像の変化や、画像内の頂点の位置を近いコマ同士で比較し実際のカメラの動きを得たら、赤線で示された滑らかなカメラ移動を計算します。

そして再構成。最適化されたカメラの向きと本来のカメラの向きが違う場合、画像に欠けが生まれるので、違うコマからその分を補います。1コマの中に違う時間のコマがたくさん映り込むので、動画ではそこにあったものがいきなり消えたり、逆に現れたりということが起こります。自動露出で変化した明るさや色なども補正して出来あがり。

Googleも撮影した動画から3Dマップを作り出す技術「Project Tango」を進行させていますが、Microsoftのこの技術はカメラ側にジャイロや加速度センサなどが必要ないのがポイント。どんなカメラで撮影した動画でも同じ効果が得られそうです。
First-person Hyperlapse Videos (Technical) – YouTube

Microsoftは昔から複数の写真を貼りあわせて自動的にパノラマ写真を作る技術をもっていて、無料で使える「Image Composite Editor」なども公開しています。今回の技術はその延長にあるように見えますが、もちろんただ動画をつなぎ合わせるだけにとどまることはないでしょう。この技術から何を創りだすのかが楽しみです。

関連記事

[字幕動画]周囲のすべてを瞬時に3Dモデル化するGoogleの「Project Tango」デバイスがすごい - DNA

「肩に乗った小さな相棒」を実現するウェアラブル・ロボットを山形大学が開発中 - DNA

「Google Glass」での写真や動画の撮影は注意が必要かも？ - DNA

24分の大長編、最新作「ゴーストリコン フューチャーソルジャー」の前日譚を描く公式動画「Ghost Recon Alpha」 - DNA

これは爽快、コックピットにカメラを積んだラジコンのF-16戦闘機からの動画 - DNA

ギャングスタ生活シム「GTA V」をTPSからFPSにするMODがステキ - DNA

限りなく自分中心にプレイ出来るテトリス「First-Person Tetris」 - DNA