情報処理学会 インタラクション2015

本稿では, 携帯端末の背面に設置されたカメラからユーザの手指を含む実画像を取得し, オプティカルフローにより手指の動きを認識することで, 実画像上に重畳した仮想キーボードで多指による空中タイピングを可能にするインタフェースを提案する.

このインタフェースを備えたシステムでは, ユーザの視線方向とカメラの向きが同じであり, キーボード上にユーザ自身の手が重畳されるので, 実際にキーボードがそこにあるかのような感覚でタイピングが可能である.

また, 手や指の姿勢認識は行わず, その動きのみの認識を行うので, 複雑な処理を必要とせず高速で安定した動作が見込まれる.

PCベースの実験システムでは, 1フレーム当たり約8.33[ms](フレームレートに換算して約120[fps])で手指の動き認識を実現した.

提案インタフェースの性能を評価するため, キーボードアプリケーションを実験システムに実装し, 多指による実時間空中タイピングを実現した.