情報処理学会 インタラクション2026

本研究は，デジタル工房における工作機器のノウハウ流通を目的として，過去の作業者の手の動きと会話音声を記録・提示するARシステムを提案する．デジタル工房にある3Dプリンタやレーザーカッター等の工作機器を使用することで人の手ではできない高度な造形が容易に可能である一方，材料の種類や状態，目的に合わせた高度な設定が必要となる．紙のマニュアルや映像では簡単な使い方のみで，高度な設定については説明されないことが多い．また，マニュアルや映像を見て作業することを交互に繰り返すと作業効率の低下や必要な作業を行わずに進めてしまう危険性がある．そこで，過去の作業者の会話音声と手の動きの可視化を行うことでノウハウの流通を支援できると考える．本研究では，Meta Quest 3のハンドトラッキングとマイクで取得したデータを会話音声を言霊として手の動きと共に空間に埋め込みUnity/Meta XR SDKで可視化し，複数作業の同時提示と近接作業の自動強調を実現した．これにより，作業と並行した学習や，会話中の指示語の理解の促進をすることでノウハウの効率の良い流通を支援する．