文章の感情を「喜び・怒り・悲しみ」だけに分けると、安心、感謝、失望、困惑などの違いが消えてしまいます。GoEmotionsは、英語のRedditコメントを細かな感情へ分類したデータセットです。

本記事は公開論文と公開データセットの紹介です。投稿データを新たに収集する場合は、利用条件、個人情報、研究倫理を別途確認する必要があります。

今回取り上げる論文

GoEmotions: A Dataset of Fine-Grained Emotionsは2020年のACLで発表されました。58,009件の英語コメントに、27種類の感情またはNeutralが付けられています。

一つの文章に複数の感情を選べる

評価者は一つに限定せず、当てはまる感情を複数選択できます。実際には83％が一つのラベル、15％が二つ、残りが三つ以上でした。感情は常に排他的とは限らないため、単一選択へ無理に押し込んでいません。

各コメントを3人または5人が評価した

82人の評価者が参加し、各コメントを3人または5人が担当しました。94％のコメントでは、少なくとも2人が一つ以上のラベルで一致しました。一方、3人以上の一致は31％です。

この差は、「多数決で一つに決めれば正解になる」とは限らないことを示します。少数意見を捨てず、ラベルの分布として残す価値もあります。

分からないという回答も用意した

感情が表れていない場合はNeutralを選び、特に判断が難しい場合は感情を選ばずに難しい例として示せる画面でした。何でも強制的に分類させず、「判定不能」を回答方法として設けています。

日本語で作る場合の論点

• 日本語として区別しやすい感情語を選ぶ
• 複数選択、Neutral、判定不能を分ける
• 前後の文脈を見せるかどうかを決める
• 評価者の年代や文化的背景を記録する

「申し訳ない」は謝罪にも同情にも皮肉にもなり得ます。ラベル数を増やすほど、定義、例文、境界事例の説明が重要になります。

データ制作の実務で参考になる点

GoEmotionsの面白さは、感情分類を細かくしたことだけではありません。複数ラベル、Neutral、判定不能、評価者間の一致という、曖昧さを残す器を用意した点にあります。