「すばらしい一日だ」と書かれていても、本当に満足しているのか、出来事を皮肉っているのかは、文章だけでは決められません。第三者には皮肉に見えても、書いた本人にはそのつもりがないことがあります。反対に、本人が皮肉として書いた文章が、事情を知らない人には額面どおりに読まれることもあります。

皮肉検出用データセットでは、誰の判断を記録するのでしょうか。iSarcasmは、過去の投稿を書いた本人に皮肉の意図を申告してもらい、そのラベルと第三者の判定を区別した英語のツイートデータセットです。

「皮肉に見える」と「皮肉のつもりだった」は異なる

iSarcasm: A Dataset of Intended Sarcasmは、Silviu OpreaとWalid MagdyがACL 2020で発表した研究です。著者らは、書き手が皮肉として意図したことと、読み手が皮肉として受け取ったことを分けて扱いました。

従来の皮肉データには、「#sarcasm」などのハッシュタグを手がかりにする方法と、第三者が投稿を読んで判断する方法があります。ハッシュタグの有無や読み手の解釈は、投稿者の意図と必ずしも一致しません。そこでこの研究では、Twitter利用者に自分の過去の投稿を選んでもらいました。本人の申告は、この研究が対象とする「意図」のラベルであり、すべての読み手に共通する唯一の解釈を示すものではありません。

皮肉の投稿1件と非皮肉の投稿3件を本人に選んでもらう

オンライン調査では、自分が過去に投稿した皮肉なツイート1件、皮肉ではないツイート3件のリンクを求めました。タイムラインへの投稿と返信が対象で、リツイートは認められていません。画像・動画などに言及する投稿も、その内容を見なければ皮肉かどうか判断できない場合は対象外でした。

皮肉な投稿については、なぜ皮肉なのかという説明と、同じ意味を皮肉を使わずに伝える言い換えを、完全な英文で回答してもらいました。論文は、この手続の目的を、調査という状況によって参加者が自分の過去の投稿を皮肉だと誤認することを防ぐためと説明しています。年齢、性別、出生国・地域、現在の居住国・地域も質問しました。

投稿リンクと回答を確認し、皮肉の種類を分類する

論文に記された品質条件は、提出の48時間以上前に投稿されたこと、同じ回答内の投稿が同一アカウントから出ていること、認証済みアカウントやフォロワーが3万人を超えるアカウントでないこと、ハッシュタグとURLを除いて5語以上あること、過去の回答と投稿リンクが重複しないこと、回答時間が3分未満ではないことです。これらは提出物をふるい分ける条件で、回答者本人の身元を証明する「本人確認」とは異なります。

調査はFigure Eight、Amazon Mechanical Turk、Prolific Academicに掲載されました。Figure Eightからは品質条件を満たす回答を得られず、Amazon Mechanical Turkでは一部の有効な回答を得たものの、個人の投稿へのリンクを求めることが同サービスの方針に反すると判断され、募集が停止されました。回答の大部分はProlific Academicから得ています。

皮肉な投稿は、訓練を受けた言語学者1人が投稿、本人の説明、非皮肉への言い換えを見て確認し、皮肉表現の種類を一つ割り当てました。説明が不明瞭、または皮肉という判断を裏付けないものは「invalid」として除外しています。投稿者による意図の申告と、言語学者による種類の分類は別の判断です。

1,236件の回答から4,484件の投稿を収録

調査では1,236件の回答を受け取りました。各回答には皮肉な投稿1件と非皮肉投稿3件が含まれるため、収集時の投稿数は1,236件と3,708件、合計4,944件です。品質条件による除外と「invalid」の除外を経て、最終的なiSarcasmは4,484件になりました。以下の件数は原論文の第5.1節と表3、および公開CSVの行数と一致します。

回答して投稿を提供した参加者について、論文は英国からが56％、米国からが41％、女性が51％、35歳未満が72％超と報告しています。データセットを利用する際は、この参加者構成を踏まえて結果を解釈する必要があります。

6種類の分類は投稿者ではなく言語学者の判断

最終収録された777件の皮肉な投稿には、言語学者によって次の分類が付けられました。数値は原論文の表3と公開CSVの種類別件数で確認できます。

皮肉かどうかのラベルは投稿者本人の意図に基づきます。一方、この6種類の区分は言語学者が付けたものであり、投稿者が自分の表現を選択した内訳ではありません。

第三者による判定は本人の申告とどれだけ一致したか

研究では、Prolific Academicで第三者から各投稿につき3件の皮肉・非皮肉判定を集め、多数決によるラベルを投稿者本人のラベルと比較しました。論文は対象をテストセットと説明しています。評価者の組み合わせごとに計算したCohenのκは0.37、0.39、0.36でした。これは第三者同士の一致度であり、投稿者と第三者の一致度ではありません。

論文の表5では、本人が皮肉と申告した87件のうち26件を第三者の多数決が非皮肉と判定しました。反対に、第三者の多数決が皮肉と判定した111件のうち50件は、本人の申告では非皮肉でした。この表の4セルの合計は459件です。公開テストCSVの907件とは件数が異なるため、この割合をテストCSV全件の結果としては扱えません。

原論文の表7では、投稿者のラベルを基準とした第三者多数決ラベルのF値が0.616、比較したモデルの最高値がMIARNのF値0.364と報告されています。いずれもこの論文のiSarcasm実験で得られた値で、人間一般やあらゆるモデルの皮肉理解能力を表す数値ではありません。

公開CSVには投稿本文や本人の説明は含まれない

ACL Anthology掲載の公式データセット（ZIP）にあるのは、訓練用3,577行とテスト用907行のCSVです。論文と配布ファイルの説明では無作為に約80％・20％に分割されています。列はtweet_id、sarcasm_label、sarcasm_typeの3つで、種類の列は皮肉な投稿にだけ値があります。

参加者への同意書には、公開されるのはツイートIDであり、参加者が後から投稿を削除できることが記されています。投稿本文、本人が書いた理由の説明、非皮肉への言い換えは公開CSVに含まれません。原論文と配布ファイルのREADMEは、これらを参加者のプライバシーを保護する合意の下で、研究目的に提供すると記しています。公開されているラベルと、合意の下で提供される文章を区別する必要があります。

日本語データでも意図・受け取り方・種類を分けて記録する

日本語で類似のデータを設計する場合は、投稿者が皮肉として意図したか、第三者が皮肉として受け取ったか、表現をどの種類に分類するかを別々の項目にできます。必要なら、投稿者にその表現を選んだ理由と皮肉を使わない言い換えを尋ね、第三者には判断理由を記録してもらう設計も考えられます。

遠回しな断り、表面上の同意、敬語を用いた距離の表現などを扱うなら、それらを初めから皮肉と同一視せず、調査の対象に含めるかを例示と作業指示で定めます。iSarcasmが示すのは、本人の意図、読み手の解釈、専門家による分類を同じラベルに押し込めず、それぞれ誰から得た判断なのかを残す設計です。