情報処理学会 インタラクション2026

本研究では，ユーザーの意図的な操作を介さず，空間内での「存在」そのものが音楽を変化させる受動的インタラクションの創出を目的とする．具体的には，カメラ映像から空間の状態をリアルタイムに認識し，音楽を自動生成・制御するシステムを提案する．本システムは，コンピュータビジョン技術（YOLO, OpenCV）を用いてカメラに映る「人数」と「総運動量」を同時に解析し，そのデータをOSC経由でMax for Liveに送信する．Max for Liveは受信したデータに基づき，人数に応じて演奏される楽器のレイヤー（トラック数）を，運動量に応じて特定の楽器が生成するリズムパターンや音響エフェクトを動的に変化させる．これにより，空間内での人の存在や活動自体を音楽表現へと変換するインタラクションを実現する．