ピアノ曲の音声からほぼリアルタイムで演奏アニメーションを生成するすごいAIの動画

楽器の演奏をアニメーション化するのは、音と絵のタイミングをあわせたり、指という非常に小さなパーツの僅かな動きで力の入れ具合を表現したりでものすごく大変。しかし今回とあるベンチャーが開発したAIは、音を聞かせるだけで勝手にアニメーションを生成してくれます。

AIを開発したのはカナダのMassive Technologies社。実物と並べてみても遜色のない動きを、約3秒の遅れで生成することができます。動画はこちらから。
A.I. Generates 3D Virtual Concerts from Sound – YouTube

Massive Technologies社は他にも動画のピアノにピアニストを合成する技術など、ピアノ関連のソフトウェアを色々と開発しています。
自宅のピアノにピアニストを召喚して合成できる不思議なアプリ「AR Pianist」 – DNA

関連記事

「テトリスのテーマ」をすべての調に移調しながらピアノで弾いてみた動画 - DNA

自動小銃とハンドガンとピアノを使ってアメリカ国歌を演奏する動画 - DNA

機械演奏のピアノで波形合成を行って文章を読み上げさせる技術の動画 - DNA

自宅のピアノにピアニストを召喚して合成できる不思議なアプリ「AR Pianist」 - DNA

ファミコンのBGMや効果音をリアルタイムに自動ピアノで演奏する動画 - DNA

ピアノの弾くべき鍵盤がひと目で分かる練習用プロジェクションマッピングシステムの動画 - DNA