情報処理学会 インタラクション2023

本稿では，電子ピアノの演奏に合わせてリアルタイムに映像が生成されるシステムのプロトタイプとその評価，また，プロトタイプをもとにしたデスクトップアプリ構築について述べる．本研究者は，映像と音楽には相乗効果があるのではないかと考えている．五感には様々なタイプの相互作用が認められており，視覚と聴覚の関係には共鳴現象や感受性の相互作用が示唆されている．また，近年の音楽におけるコンピュータの活用はインタラクティブアート分野でも盛んに行われている．本研究でのシステムはインタラクティブアートの側面を持っており，ピアノの特徴である，音域が広い点と，1台で和音を出せる点に着目した映像を出力する．プロトタイプを使用した電子ピアノ演奏の実演では，本システムが演奏に対して「楽しさ」「印象深さ」「和音が切り替わっていることへの気づき」を提供できることが示唆された．