情報処理学会 インタラクション2023

従来の字幕やキャプションは外国語の翻訳や，聴覚の障がい等で音声が聞き取りにくい人に対して映像の内容を理解しやすくために利用されてきた．一方，日本のバラエディ番組などにおいて，視聴体験を拡張する目的で画面上の見やすい位置にデザイン化した文字等を表示するテクニックはテロップと呼ばれ，英語ではインパクトキャプションと呼ばれるようになってきている．従来，字幕の自動生成等の研究はあるが，それらとは異なり本稿では，テロップの自動生成システムに関する初期的な試みを示す．映像から音声認識を利用してテロップを自動表示し，66名の大学生を対象としてアンケート評価を行った結果，テキストおよびアイコンの両方を用いたテロップが「おもしろい」「わかりやすい」「見やすい」いずれの項目でも高い評価を得た．自動テロップ付けは，音声認識だけでなく感情の自動分析などを利用しても良く，映像の新しい楽しみ方を提供できる可能性がある．さらに，自動テロップ付けをオンラインビデオ会議システムに適用することを提案し，プロトタイプを示した．