情報処理学会 インタラクション2016

本研究では発話時の口唇形状の情報に着目し,携帯端末の操作を行う手法を提案する.携帯端末のフロントカメラを用いて,口唇形状を認識する.そして発話した際と同様の口唇の形状から,母音を推定することによりコマンド入力を行い,アプリケーションの操作などの操作を行うことができる.本稿では,モバイル端末において,口唇形状の情報から機械読唇の技術を用いて母音を推定する方法の検討を行う.ユーザは,実際に発話することなく口語的に携帯端末にコマンドを入力することができる.そのため,音声入力のように直感的な入力が可能であり,入力の際にユーザは各操作ごとのジェスチャを覚える負担を軽減することができる.