情報処理学会 インタラクション2020

サイレントスピーチインタラクション(SSI)は，有声ではない発話による音声インタラクション手段であり，ウェアラブルコンピューターなど，さまざまな状況での対話手段として，また発声困難者への支援技術としての可能性を持つ．従来より，画像（リップリーディング），筋電，超音波エコー映像などを利用する手法が提案されていたが，それぞれに制約があった．本研究では，顎下皮膚に装着したMEMS(micro electromechanical systems)加速度計/角速度センサーを使用し，顎運動および舌筋の運動を計測することで無声発話を認識する手法を提案する．顎下に設置された2つのMEMSセンサーで12次元の皮膚運動情報を取得し，深層学習により解析したところ，35種類の発声コマンド/フレーズを94%以上の認識率で識別できた．また，Connectionist Temporal Classifier (CTC) を用いて，音素記号系列を生成するニューラルネットワークにより，有声発話とは直接対応していない無声発話時の皮膚運動情報から有声発話を生成することを示す．本研究の構成は，従来のサイレントスピーチの認識手段と比較して，装着時に目立たなく，小型軽量であり，照明条件などの周囲の環境要因の影響を受けにくい．