情報処理学会 インタラクション2021

文献情報

タイトル
SilentMask: 口周辺の運動計測によるマスク型サイレントスピーチインタラクション
著者
  • 平城 裕隆(東大)
  • 暦本 純一(東大/ソニーCSL)
アブストラクト
説明画像

サイレントスピーチインタラクション(SSI)は,有声ではない発声による音声インタラクションであり,スマートフォンなどの音声認識デバイスへの入力手段として,また発声困難者への支援として用いられる.従来から口の周辺を利用するSSIとしてリップリーディングや筋電,超音波エコー,口蓋内の静電測位等を用いた手法が提案されてきたが,片手が塞がることや目立ちやすいといった課題があった.本研究では,マスクに取り付けた加速度と角速度のセンサを利用し,口周辺の運動を計測することで無声での発話を認識するマスク型のSSIを提案する.2つの加速度センサを用いて12次元の口周辺の運動情報を取得し,深層学習を用いて解析したところ,21種類の音声コマンドと発話していない状態の計22状態を79.1%の精度で識別でき,表情と動作の計6種類に関して分類し84.7%の精度で認識できた.また,主観調査を行い,加速度センサを直接皮膚に貼る手法に比べて長時間着用できるという結果を得た.本研究は,カメラ画像を用いないため照明条件によらず,非接触で目立たないインターフェースであり,マスクの新たな可能性を提示するものである.

雑誌名
インタラクション2021論文集
© 情報処理学会 2021
論文ID
3P01
ページ
734-738
発行日
2021年3月1日
発行所
発行人 一般社団法人 情報処理学会
住所 〒101-0062 東京都千代田区神田駿河台一丁目5番地 化学会館4F
TEL. 東京 (03) 3518-8374 (代表)
E-mail