情報処理学会 インタラクション2016

本稿では，任意の音楽音響信号に対してカラオケ音源やマイナスワン音源を自動生成し，それら伴奏に合わせてユーザの歌唱・楽器演奏をリアルタイムで解析・可視化する音楽演奏練習システムについて述べる．本システムは音量調節・音楽内容表示・演奏認識の三つの機能からなり，どこでも手軽に利用できるようタブレット端末上に実装されている．ユーザが音楽に合わせて歌唱や楽器を練習するとき，各楽器パート（ボーカル・ギターやキーボードなどの調波楽器・ドラム）の音量を個別に抑制でき，原曲の音楽内容（ビート時刻・コード進行・歌声の音高）は手本として同期スクロール表示される．さらに，練習を効果的に行うため，ユーザ自身の歌声の音高やギター演奏のコードはリアルタイムで認識され，手本と比較表示される．これらの機能を利用するには，あらかじめ歌声・調波楽器音・打楽器音の分離と音楽内容解析を行うことが必要となる．この問題を解決するため，ロバスト主成分分析に基づく歌声・伴奏音分離とスペクトログラムの異方性に基づく調波楽器音・打楽器音分離を組み合わせる手法を提案する．また，原曲の音楽内容は，クラウドソーシング型音楽鑑賞WebサービスSongleによる解析結果と連動させる．これにより，誤りを修正したら他ユーザと共有したり，タブレット上に最新結果を反映することができる．被験者実験の結果，提案システムは三つの機能ともに，音楽練習に有益であることが示された．