「さすがですね」という文字だけでは、本当に褒めているのか、失敗した相手を皮肉っているのか判断できません。語尾を引き延ばす声、特定の語を強調する話し方、無表情な顔、直前の出来事まで見て、ようやく意図が伝わることがあります。

MUStARD（MUltimodal SARcasm Detection Dataset）は、こうした皮肉をテキスト、音声、映像、直前の会話から判定するために作られた英語データセットです。2019年のACLで発表され、最終的な実験用データには皮肉345件、非皮肉345件の計690件が収録されました。

MUStARDの素材にはテレビ番組などの映像が含まれます。公式リポジトリでコードやデータが公開されていても、映像作品そのものの著作権や利用許諾まで一律に保証されるわけではありません。再配布、商用利用、生成AIの学習などを行う場合は、用途と利用地域に応じた確認が必要です。

参加者に演じてもらわず、既存の映像から候補を集めた

MUStARDは、研究参加者へ皮肉を言うよう依頼して新しく会話を収録したデータではありません。研究チームは主にYouTubeを検索し、「Friends sarcasm」「Chandler sarcasm」「Sarcasm 101」「Sarcasm in TV shows」などの語から、皮肉らしい場面を探しました。素材の中心は『フレンズ』『ゴールデン・ガールズ』『ビッグバン★セオリー』と、Sarcasmaholics Anonymousです。

一方、非皮肉の候補には『フレンズ』由来の感情認識データセットMELDから400本を選びました。『ビッグバン★セオリー』はシーズン1〜8を対象に、観客の笑い声を検出するソフトウェアで区切りの候補を作り、字幕の時刻情報で境界を調整しています。つまり、皮肉候補は皮肉に関する検索語から、非皮肉候補は別データセットなどから集めており、両クラスの入口は対称ではありません。

原論文は初期収集数を6,421本と記載しています。その後に同期不良などを除き、最終的なラベル集合として皮肉345本、非皮肉6,020本、計6,365本を報告しています。さらに、その全皮肉例と同数の非皮肉例を抽出し、計690本のMUStARDを構成しました。これは自然な出現率を保存した標本ではなく、モデル比較のため人為的に50対50へそろえたデータです。

対象発話と、理解に必要な直前の会話を映像で組にする

データの1件は、皮肉かどうかを判定する対象発話と、その場面を理解するための文脈から成ります。対象発話には映像、音声、書き起こし、話者ID、二値の皮肉ラベルが付き、文脈にも直前の発話列と各話者が記録されています。公式配布ページでは、この構造をJSON形式で確認できます。

ここでの「発話」は、必ずしも一文ではありません。同じ話者が連続して話す複数文を、意味が完結するよう一つの対象区間にまとめる場合があります。データ全体の61.3％は一文で、残りは二文以上です。対象発話の平均時間は5.22秒、文脈映像は平均13.95秒でした。

文脈の長さは一定のターン数に固定していません。研究者が、対象発話の背景を一貫して理解できるところまで先行ターンを手作業で選びました。場面によっては複数人の会話を含みます。この方法は必要十分な背景を残しやすい一方、どこから文脈を始めるかという編集者の判断もデータに入ります。

2人の大学院生が全映像を独立に判定した

アノテーション用の画面には、対象動画とその書き起こしが表示されました。作業者は皮肉かどうかを判定し、必要だと考えた場合は直前の文脈映像も再生できました。音声と映像がずれている素材には、同期不良のフラグを付けるよう求められています。大量の映像を扱いやすくするため、画面には4本ずつ提示されました。

判定を担当したのは2人の大学院生です。作業前に、皮肉が明確な簡単な映像例を示して説明し、その後は2人が全素材をそれぞれ独立に評価しました。MUStARDのラベルは出演者や脚本家による意図の申告ではなく、映像を見た第三者による知覚判断です。本人の意図を正解としたiSarcasmとは、ラベルの根拠が異なります。

低い一致率を隠さず、議論と第三者判定を入れた

最初に『ビッグバン★セオリー』の5,884発話を判定したところ、2人がともに非皮肉とした素材が98％を占め、評価者間一致を偶然一致で補正したκ（カッパ）係数は0.1463にとどまりました。そこで作業を一度止め、不一致だった20本について2人で話し合い、全体を再判定しました。κ係数は0.2326へ上がりましたが、依然として高い一致とはいえません。残った不一致は、3人目の評価者が映像を見直して最終ラベルを決めました。

『フレンズ』『ゴールデン・ガールズ』など残りの素材では、2人のκ係数は0.5877でした。この段階でも不一致は3人目が裁定しています。判定基準の例示、独立評価、途中の再訓練、同期不良の検出、第三者裁定という品質管理は行われましたが、最初の低い一致率そのものが、皮肉を二値で決める難しさを示しています。

書き起こしは素材ごとに作り方が異なります。MELDの文章はそのまま利用し、『ビッグバン★セオリー』はエピソード字幕との部分文字列照合で対応付け、それ以外は人手で書き起こしました。音声・映像・字幕を同時に扱うデータでは、発話区間と文字列が合っているかを別工程で検品する必要があります。

「文字・声・表情のどこか一つ」ではなく、不一致を見る

皮肉の手掛かりは一つのモダリティだけに固定されません。文章では恐怖や怒りを表しているのに顔には不安がない、褒め言葉なのに声と表情が無関心に見える、肯定的な文の特定語だけを不自然に強調するといった、モダリティ間の不一致が手掛かりになります。反対に、文字・声・表情が必ず対立するわけではなく、それぞれが補完情報になる場合もあります。

論文のベースライン実験では、複数モダリティを組み合わせることで、単独モダリティに比べてF値の相対誤差が最大12.9％減りました。ただし、同じ話者が学習用と評価用の両方に現れる設定では、モデルがChandlerやSheldonといった登場人物固有の傾向を覚える可能性があります。未知の話者だけで評価する設定では映像特徴の効果が弱く、映像に映る人物や作品を手掛かりにした見かけの性能と、皮肉表現そのものの理解を区別する必要があります。

小規模で、脚本・演技・作品に強く依存する

MUStARDの690件は、マルチモーダル皮肉研究の初期資源としては重要ですが、大規模データではありません。素材は自然な日常会話ではなく、英語圏のコメディ作品を中心とする脚本付きの演技です。俳優の表情、カメラ編集、観客の笑い声、作品内の人物設定が含まれ、実生活の皮肉、職場会話、日本語の婉曲表現へそのまま一般化できません。作品別では『フレンズ』が約52％、『ビッグバン★セオリー』が約41％を占め、話者も一部の主要人物へ偏っています。

また、原論文では2人の大学院生と第三評価者の専攻以外に、年齢、性別、母語、文化的背景、募集方法、報酬を確認できません。皮肉の受け取り方は共通知識や文化に左右されるため、少人数の判定を普遍的な正解とはみなせません。日本語版を作るなら、同意を得た収録素材を用い、話者本人の意図と第三者の受け取りを別々に記録すること、音声だけ・映像だけ・全文脈ありの判定を分けること、複数人の分布を単一ラベルへ潰さず残すことが検討課題になります。

MUStARDから学べるのは、映像を集めるだけではマルチモーダルデータにならないという点です。対象区間と文脈区間の切り分け、話者ID、書き起こし、音声・映像の同期、独立した複数人判定、不一致の記録まで対応付けて、初めて「どの情報が判断を変えたか」を検証できます。株式会社イングクラウドでも、対話映像の収録から区間分割、書き起こし、ELAN等を用いた時刻情報の付与、複数人アノテーション、検品まで研究目的に合わせて設計します。