情報処理学会 インタラクション2026

Human-Computer Interaction（HCI）研究におけるデータのアノテーション作業やインタフェースの主観評価などでは，人間（アノテータや実験参加者）が，対象となるデータやインタフェースの特性や性能，あるいはそれらが発揮する能力や良さ（例：使いやすさ）について，7段階Likert尺度等を用いて評価を行うことが一般的である．この際，人間の主観等の違いを考慮して複数人による評価を収集するが，それら複数の評価結果を一つの値に集約したり，有意性検定等の分析を行ったりする際には，平均値や中央値といった単純な統計量が用いられてきた．しかし，平均値や中央値は，評価者ごとの主観的なバイアス（評価の厳しさや寛容さ）等の個人差を考慮しておらず，評価対象の特性・性能を正確に推定するには限界がある．そこで本研究では，複数人による評価結果を統合的に分析する手法として，項目反応理論（IRT）の活用を提案する．IRTモデルは，評価者のバイアスと対象の特性を同時に推定でき，順序尺度にも適用可能である．本論文では，そのような順序尺度評価の実例として，音楽アノテーションを対象とし，140の歌唱に対して10人のアノテータが7段階で歌唱力を評価したデータを用いて検討を行った．Markov Chain Monte Carlo（MCMC）法によってIRTモデルのパラメータを推定することで，平均等の従来手法や評価者の個人差を考慮しないモデルとの比較が情報量基準に基づいて定量的に可能となるだけでなく，パラメータの事後分布を活用した不確実性の定量化や，対象間の差の確率に基づく柔軟な分析も実現できる．