情報処理学会 インタラクション2015

本稿では，動画コンテンツと現実世界とを融合させることでユーザが動画の世界に入り込んだり，動画中の人物が現実世界に飛び出したりすることを可能とするシステム，VRMixerを提案する．本システムは，動画セグメンテーション手法によって動画の登場人物と背景とを別々に仮想空間内に配置することで簡易的な3次元空間（2.5次元空間）を構築する．構築された空間にデプスカメラによってキャプチャされたユーザを配置することによって，ユーザが動画の世界に入り込むことを可能とする．本研究では，動画から人物領域を自動で抽出するために，顔検出と人物領域検出を併用した3次元グラフカットセグメンテーション手法を提案する．抽出した人物領域を2.5次元空間の前方に，その他の背景領域を後方に配置することで仮想空間を構築し，デプスカメラによってキャプチャされたユーザは仮想空間内を自由に移動できる．本システムを通して，動画の中の世界と現実世界とが融合した世界，Video Realityの実現を目指す．