自宅のピアノにピアニストを召喚して合成できる不思議なアプリ「AR Pianist」

ピアノを習うには上手い人の演奏を見たり聞いたりするのが大事なのですが、費用や時間の問題もあるのも事実。しかしこちらの「AR Pianist」を使えば、いつでもどこでもポリゴンのピアニストを召喚できます。

開発したのはシリア出身、現在はフィンランドに住む3Dアーティスト、フェイズ・サルカさんが、自身がトップを務めるMassive Technologies社で発表したARアプリのプロトタイプ。

機械学習によってカメラからピアノの形状を読み取り、誤差1cmという凄まじい精度で鍵盤とリアルタイムにピアニストを合成します。ちなみに動画1フレームから合成可能で、3Dカメラも必要ありません。

合成されたピアニストがショパンの「革命のエチュード」を演奏しているところ。位置もピッタリ、演奏と手の動きのマッチもほぼズレなしでここまでの合成が可能です。

Our latest app, AR Pianist, uses machine learning to superimpose a virtual pianist on your piano. It works with any piano and features a library of songs performed by award winning pianists. #ar #arkit #ai #ios #vr #coreml #app #piano #apple #music #education #augementedreality pic.twitter.com/a7W7KYvoiP

— Fayez Salka (@fayezsalka) December 2, 2019

ARヘッドセットで自分の手元を映しながら「お手本」の動きを見ることができる、などの教育用途が考えられているとのこと。演奏速度を1/100にして練習したりもできるので、独学にはぴったりのアプリですね。

ピアノは今でも楽器や奏法が少しずつ進化を続けている楽器。当然教え方・学び方も変わってきます。デジカメの普及が写真愛好家を増やし、レベルを引き上げたのと同じことがいろいろな場所で起こっています。
ピアノの弾くべき鍵盤がひと目で分かる練習用プロジェクションマッピングシステムの動画 – DNA

関連記事

ピアノ演奏中に「足踏みペダル」で楽譜をめくるシステムをDIYした動画 - DNA

ピアニストは演奏中にどこを見ているのか目線カメラで調べてみた動画 - DNA

キーや画面をタップするだけでピアニストになれるWebアプリ「Touch Pianist」 - DNA

ピアノの弾くべき鍵盤がひと目で分かる練習用プロジェクションマッピングシステムの動画 - DNA

ピアノに合わせて「となりのトトロ」を歌うオカメインコがすごい - DNA

難曲「ヴォロドス版トルコ行進曲」をさらに超絶難度にしたパイプオルガン版トルコ行進曲の動画 - DNA