文章を読んで「これは皮肉だ」と感じても、書いた本人には皮肉のつもりがなかったかもしれません。反対に、本人は皮肉として書いたのに、前後の事情を知らない第三者には普通の文章に見えることもあります。

今回紹介するiSarcasmは、皮肉かどうかを第三者へ判定させるのではなく、文章を書いた本人から意図を集めた英語データセットです。

皮肉検出の研究で使われるデータは、どのように「正解」を決めているのでしょうか。論文から、参加者への依頼方法とデータの構成を読み解きます。

本記事は公開論文と公開データセットの内容を紹介するものです。株式会社イングクラウドが当該研究またはデータセットの制作へ関与したことを示すものではありません。

今回取り上げる論文とデータセット

iSarcasm: A Dataset of Intended Sarcasmは、Silviu Oprea氏とWalid Magdy氏が発表した論文です。2020年のACLで公開されました。

論文では、皮肉を「話者が皮肉として意図したもの」と「受け手が皮肉だと解釈したもの」に分けています。iSarcasmが対象にしたのは、前者の話者が意図した皮肉です。

第三者による判定では何が分からないのか

皮肉検出用のデータを作る方法には、文章を第三者に読んでもらい、皮肉かどうかを判定してもらう方法があります。また、SNS上の「#sarcasm」などのハッシュタグを手がかりに、皮肉の文章を自動的に集める方法も使われてきました。

しかし、第三者が判断できるのは、その文章が皮肉に見えるかです。投稿者が本当に皮肉として書いたかどうかは、必ずしも分かりません。ハッシュタグにも、付け忘れ、冗談、話題分類など別の使われ方が混ざる可能性があります。

つまり、収集しやすい代替情報を正解として使うと、研究したい現象と実際のラベルがずれることがあります。

参加者本人から過去の投稿を集めた

研究チームはオンライン調査を作り、Twitter利用者に、自分が過去に投稿した文章を提出してもらいました。一回の回答で依頼したのは、本人による皮肉な投稿1件と、皮肉ではない投稿3件です。リツイートは対象外とされました。

さらに、皮肉な投稿については、次の情報も本人に回答してもらっています。

• なぜその投稿が皮肉なのかという説明
• 同じ意味を皮肉を使わずに表した書き換え
• 年齢、性別、出生地、居住地などの情報

説明と書き換えを求めることで、参加者が過去の投稿を誤って皮肉だと選んでいないか確認しやすくなります。また、二値のラベルだけでは分からない、本来伝えたかった意味もデータとして残ります。

iSarcasmには4,484件の投稿が収録された

収集段階では、皮肉な投稿1,236件と、皮肉ではない投稿3,708件が提出されました。その後、品質確認と無効データの除外を行い、最終的なiSarcasmには4,484件が収録されています。

皮肉な投稿は、sarcasm、irony、satire、understatement、overstatement、rhetorical questionという種類にも分類されています。

単に「皮肉である・ない」を記録しただけでなく、本人の説明、普通の表現への書き換え、皮肉の種類まで対応付けられている点が特徴です。

件数が多ければ優れたデータとは限らない

論文では、従来の皮肉データセットで高い性能を示したモデルも、iSarcasmでは性能が低下しました。著者らは、従来のデータに分かりやすい皮肉や収集方法による偏りが含まれ、モデルがその特徴を学習していた可能性を指摘しています。

これは、データセットの価値を件数だけでは判断できない例です。大量の文章を集めても、研究したい「話者の意図」が記録されていなければ、別の現象を学習してしまう可能性があります。

日本語で同じデータを作るなら何が必要か

日本語で同様のデータを作る場合、皮肉だけでなく、遠回しな断り、表面上の同意、敬語による距離、控えめな非難なども考える必要があります。

また、投稿文だけでは意図を説明できない場合があります。誰に向けた発言か、その前に何があったか、相手との関係、音声であれば声の調子なども必要になるかもしれません。

• 発言した本人による意図の説明
• 直接的な表現への書き換え
• 発言相手との関係
• 発言前後の文脈
• 第三者が受け取った意味
• 皮肉、冗談、婉曲表現などの分類

本人の意図と第三者の解釈を両方集めれば、「伝えたつもり」と「伝わった意味」のずれも研究できます。ただし、SNS投稿を利用する場合は、第三者の情報、投稿時の利用条件、研究利用への同意、公開範囲も確認しなければなりません。

データ制作の実務で参考になる点

iSarcasmから分かるのは、アノテーションの正解を誰に聞くかによって、データセットの意味が変わることです。

• 話者の意図を知りたいなら、第三者評価だけでは足りない
• ラベルと一緒に理由や言い換えを集めると、回答を検証しやすい
• 収集しやすい代替指標が、研究対象と一致するとは限らない
• 収集後の除外を見込み、有効データ数から必要件数を考える
• 二値分類だけでなく、後の研究に使える補助情報も設計する

「誰が正解を知っているのか」を収集前に決めることは、皮肉に限らず、感情、意図、満足度、痛み、判断理由など、本人の内面を扱うデータ全般に共通します。