「さすがですね」という文字だけでは、称賛なのか皮肉なのか分かりません。声の調子、表情、直前の失敗を知れば、意味が変わることがあります。

MUStARDは、文章だけでなく映像・音声・前後の会話を使って皮肉を判定するためのデータセットです。

本記事は公開論文とデータセットの紹介です。映像作品をデータ化する場合は、著作権と利用条件を別途確認する必要があります。

今回取り上げる論文

Towards Multimodal Sarcasm Detection (An Obviously Perfect Paper)は2019年のACLで発表されました。

6,365本を判定し、690本へ絞った

二人の評価者が動画と書き起こしを見て独立に皮肉を判定し、不一致は第三者が再判定しました。最終的なラベル付き素材は皮肉345本、非皮肉6,020本と大きく偏りました。

実験用MUStARDでは、皮肉345本と同数の非皮肉を選び、合計690本の均衡データにしています。収集した母集団と評価用データの構成を分けている点が重要です。

不一致を話し合っても簡単には一致しない

一部素材では評価者間一致が低く、例を話し合って再評価し、残る不一致を第三者が解消しました。皮肉は正解基準を説明しても主観差が残る課題です。

発話の前後を手作業で決めた

各対象発話には、直前の会話を文脈として付けています。何ターン含めれば場面を理解できるかは固定せず、背景が伝わる範囲を人が決めました。また、字幕がない素材は人手で書き起こしています。

日本語で作る場合の論点

• 発話、音声、映像、前後文脈の同期
• 本人意図と第三者判断のどちらを正解にするか
• 著作物ではなく同意を得た収録素材を使う方法
• 皮肉以外の冗談、照れ、遠回しな非難との境界

データ制作の実務で参考になる点

必要なのは動画ファイルだけではありません。対象区間、書き起こし、文脈区間、話者、音声と映像の同期、複数人ラベルを対応付けて、初めてマルチモーダルデータになります。