情報処理学会 インタラクション2026

手話を主なコミュニケーション手段とする人と手話を知らない人の対面対話を支援するため，筆者らはヘッドマウントディスプレイ (HMD) を用いて一人称視点手話認識と音声合成・音声認識を組み合わせた対話支援インタフェースを構築した．一人称手話認識には，手話の3次元モーションキャプチャデータをHMDのローカル座標系と整合するように変換した手骨格系列を用いて，グラフ畳み込みネットワークST-GCNを学習して用いた．HMDで記録した手話データを用いてシミュレーション評価を行った結果，20語の単語認識において認識精度Top-1: 70.7%を得た．総合評価として，手話を用いる聴覚障碍者1名と対話者1名に対し3種類の対話シナリオを実施した．その結果，手が計測範囲内にある限り推定が更新され続けるため，意図しない動作が誤出力を招く場面が見られた．対話者側では，単語単位の提示では発話意図を文として把握しにくく，誤認識が混入すると，提示された単語列のどの部分が正しく，どの部分が誤りかを対話者が判断できないため，会話に用いる情報の取捨選択が困難であることが事後アンケートの結果わかった．以上から，認識精度の改善と認識可能な語彙の拡張に加えて，手話区間検出の導入による誤出力抑制と，文単位の手話認識の必要性が確認された．