情報処理学会 インタラクション2019

近年，ラップトップをステージ上に持ち込み映像と音響表現からなるオーディオビジュアルパフォーマンスが行われるようになった．これらのパフォーマンスは，高次元のパラメータ操作による映像・音響表現を可能にする．一方で，伝統的な楽器演奏の持つ即興的な表現力を持たない．そこで我々は，以前の研究で伝統的な楽器演奏にオーディオビジュアル表現を持ち込むためのマイク・ギター・フットペダルを用いたライブインタフェースを提案した．このインタフェースは，音声発話を用いる事で，音楽ソフトウェアや映像ソフトウェアの持つ高次元のパラメータの操作を可能にする．これにより，従来のフットペダル等によるパラメータ制御より多くのパラメータ制御を可能にする．しかしながら，従来のシステムではボイスコマンドを正確に覚える必要があり，一般的な楽器演奏家にとっては，直感的な取り扱いが難しいといった問題がある．　本稿では，このアイディアを拡張し，大語彙連続音声認識と自然言語理解により，フレーズから意図解釈することで，演奏者は自由発話によるボイスコントロールが可能になり，より直感的な操作感覚を持つインタフェースを目指す．