情報処理学会 インタラクション2020

これまで動画を用いた楽曲生成に関する研究は数多く行われてきたが，これらの多くは動画全体の色や動きから作曲を行うものであり，動画の盛り上がりを考慮した作曲は実現していない．本研究では，動画の盛り上がりに対応した楽曲生成を実現するために，動画の場面が持つ盛り上がりに基づいた楽曲の自動作成を提案する．動画に対して一定時間ごとに動きの特徴量を算出し，動画の盛り上がり度を推定する．推定した盛り上がり度と楽曲のセクションを考慮した隠れマルコフモデル（HMM）によって，ループシーケンサに挿入する音素材を決定する．以上の処理を実現したシステムの実装を行ったところ，楽曲構成を考慮しない場合に比べて，動画との対応やテクノミュージックとしての自然さに関して，概ね良い結果が得られた．