「Okay」「Yeah」のような短い返事だけを読んでも、話者が納得しているのか、怒っているのか、諦めているのかは分かりません。直前の会話、声の調子、表情を見ることで、初めて感情を推測できることがあります。

MELDは、一つの文章だけでは判断しにくい会話中の感情を、テキスト、音声、映像とともに記録したデータセットです。

本記事は公開論文と公開データセットの紹介です。テレビ番組中の演技された会話を使用しており、日常の自然会話と同じ条件ではありません。

今回取り上げる論文

MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversationsは、2019年のACLで発表されました。既存のEmotionLinesを拡張し、音声と映像を加えたマルチモーダルデータセットです。

1,433の会話と約13,000発話を収録した

MELDはテレビドラマ『Friends』から、1,433件の会話と約13,000件の発話を収録しています。二者だけでなく、3人以上が参加する会話も含まれます。

各発話には話者、発話文、音声、映像が対応しており、前後の会話を一つのまとまりとして確認できます。

感情とセンチメントを別々に付けた

各発話には、怒り、嫌悪、恐れ、喜び、中立、悲しみ、驚きの7種類の感情ラベルが付いています。さらに、肯定・中立・否定のセンチメントも付与されています。

感情とセンチメントは同じではありません。驚きは良い知らせでも悪い知らせでも生じ、怒りと悲しみはどちらも否定的でありながら異なる感情です。二つの分類を分けることで、評価の粒度を変えられます。

対象発話だけでなく会話の流れを見る

話者の感情は会話の途中で変わります。喜んでいた人物が、別の話者の発言を受けて怒ることもあります。対象発話の単語だけでなく、誰が何を言い、それを受けて感情がどう変化したかを扱う必要があります。

三つの情報を同期させる必要がある

データ制作では、映像から発話区間を切り出し、音声と書き起こしを合わせ、話者を特定したうえで感情を評価します。単に動画へ一つの感情ラベルを付ける作業ではありません。

演技データを使う利点と限界

ドラマには多様な感情が現れ、映像・音声・台詞がそろっています。一方で、俳優が視聴者へ伝わるように演じた感情であり、自然な日常会話より表現が明確な可能性があります。

実利用場面へ適用する場合は、自然会話や対象領域のデータでも評価しなければなりません。

日本語で作る場合の論点

• 話者ごとの音声と映像をどのように同期するか
• 短い相づちや重なりをどの発話へ含めるか
• 感情ラベルの定義と具体例をどう示すか
• 本人の自己申告と第三者評価をどう使い分けるか
• 同じ話者や同じ会話を学習用と評価用へ分けないか