同じ「Okay」でも、笑顔で明るく言えば喜び、強い口調なら怒り、力なく答えれば悲しみに聞こえることがあります。さらに、直前に誰が何を言ったかによっても解釈は変わります。会話中の感情を捉えるには、文章だけでなく、声、表情、話者ごとの感情の流れが必要です。

MELD（Multimodal EmotionLines Dataset）は、テレビドラマ『Friends』の複数人会話を、テキスト・音声・映像とともに収録した英語データセットです。各発話には7種類の感情と3種類のセンチメントが付けられ、同じ人物の感情が会話の途中でどう変化するかも追跡できます。

MELDの感情は、話者本人が報告した心の状態ではありません。俳優が台本に基づいて演じた映像を第三者が見て、「その発話で表現されている感情」を分類したものです。自然会話の内面感情、演技上の意図、視聴者に伝わった感情は区別して考える必要があります。

研究参加者を募集せず、ドラマの会話を再構成した

MELDは研究のために参加者へ会話課題を依頼したデータではありません。元になったEmotionLinesは、『Friends』シーズン1〜9の台本を収集し、各場面を一つの対話として扱いました。対話を5〜9、10〜14、15〜19、20〜24発話の4群に分け、各群から250対話を無作為抽出して、まず1,000対話のテキストデータを作っています。

MELDではこのテキスト資源に元エピソードの音声・映像を対応付けました。字幕から各発話の開始・終了時刻を推定し、時刻が発話順に並ぶこと、同じ対話の発話が同一エピソード・同一場面に属することを条件に確認しました。異なるエピソードや場面が誤って一つにつながった例を除外し、最終的に1,433対話、13,708発話を収録しています。

データは学習用1,039対話・9,989発話、開発用114対話・1,109発話、評価用280対話・2,610発話です。対話あたりの平均発話数は約9.3〜9.7、平均話者数は約2.6〜3.0人、最大8〜9人で、二者会話だけでなく複数人物が出入りする場面を含みます。

字幕と映像を発話単位に切り分けた

字幕では複数の台詞が同じ時刻へまとめられていることがあります。そのまま切り出すと、別の人物の台詞や表情まで一つの発話クリップに入ります。研究チームは音声と書き起こしを強制アライメントするGentleを使い、単語時刻を推定して発話境界を補正しました。

確定した開始・終了時刻から元エピソードの映像を切り出し、音声は16-bit PCM WAVとして抽出しました。各行には発話文、話者名、感情、センチメント、Dialogue_ID、Utterance_ID、シーズン、エピソード、開始・終了時刻が入ります。文章、音声、映像を別々に集めたのではなく、同じ放送映像の同一区間を三つのモダリティへ分けた構成です。

一方、テレビ番組には笑い声、音楽、効果音、編集、カメラ切替があります。対象話者の顔が常に正面から大きく映るとは限らず、画面にいる人物と実際の発話者を機械的に結び付けるのも難題です。論文の初期ベースラインでは、映像による話者同定・位置特定が未解決だとして、視覚特徴を使用していません。

英語力の高い大学院生3人が映像を見て再評価した

元のEmotionLinesでは、Amazon Mechanical Turkの作業者5人が、対話全体の文脈を読みながら各発話を評価しました。ラベルは怒り、嫌悪、恐れ、喜び、悲しみ、驚き、中立の7種類です。最多票を正解とし、3種類以上に票が割れた発話を「非中立」として残していました。この方法のFleissのκ係数は0.34でした。

MELDでは、英語の会話と読み書きに高い習熟度を持つ大学院生3人へ、事前に例を使って作業を説明し、全発話を再評価しました。今回は文章だけでなく、対応する映像クリップも見るよう依頼しています。最終ラベルは多数決で決定し、3人がそれぞれ異なる感情を選んだ89発話は、曖昧な「非中立」へまとめず除外しました。会話の連続性を保つため、それらを含む11対話も取り除いています。

感情ラベルの評価者間一致はκ＝0.43で、文章だけだった元データの0.34より上がりました。たとえば「This guy fell asleep!」は元データで非中立でしたが、映像の怒った表情と高い声を確認したMELDでは怒りになっています。ただし0.43は完全に近い一致ではなく、映像を見ても感情の境界には相当な解釈差が残ることを示します。

センチメントは7感情と同じ手順では作られていない

各発話には、肯定・中立・否定のセンチメントもあります。ただし、すべてを最初から独立に三択評価したわけではありません。怒り・嫌悪・恐れ・悲しみを否定、喜びを肯定、中立を中立へ変換しています。驚きだけは良い驚きと悪い驚きがあるため、同じ3人が肯定か否定かを追加評価しました。

センチメント全体のFleissのκ係数は0.91です。この高い値を、7感情すべてを別途三択で評価した一致度と解釈してはいけません。大部分が感情ラベルから規則変換されており、追加の人手判断が必要なのは驚きの発話だからです。

感情変化は会話から計算された派生情報

MELDでは、同じ話者の連続する発話で感情ラベルが変わった回数をemotion shiftとして数えています。学習用4,003回、開発用427回、評価用1,003回です。1対話には平均約3.2〜3.3種類の感情が現れ、発話の平均時間は約3.59秒です。また、発話の約42％は5語未満で、「Yeah」「Okay」のように文脈と声・表情がなければ判断しにくい短文が多く含まれます。

ただし、emotion shiftは別の評価者が「ここで感情が変化した」と連続尺度で付けたラベルではありません。各発話の多数決ラベルを話者ごとに並べ、隣接するカテゴリーが異なれば変化として数えた値です。中間的な感情や徐々に強まる変化は表現できず、一件の誤分類が二回の変化として数えられる場合もあります。

中立が約47％を占め、少数感情との偏りが大きい

全分割を合計すると、中立6,436件、喜び2,308件、驚き1,636件、怒り1,607件、悲しみ1,002件に対し、嫌悪361件、恐れ358件です。恐れや嫌悪は中立の20分の1前後しかなく、論文のモデルもこれらの少数クラスで低い性能を示しました。全体正解率だけでは、中立を多く予測するモデルを高く評価しかねません。

さらに、主要6人の登場人物がデータの84％を占めます。同じ人物には声質、表情、口癖、役柄固有の感情傾向があるため、モデルが一般的な感情表現ではなく人物を手掛かりにする可能性があります。学習・開発・評価は対話単位で分かれていますが、同じ主要人物や同じ作品世界は複数分割に現れます。未知話者・未知作品への汎化を測る分割ではありません。

演技、編集、文化、権利条件を含むデータである

ドラマは感情の種類が豊富で、文章・音声・映像をまとめて得られる利点があります。しかし、俳優は視聴者へ伝わるように台本を演じ、演出家、撮影、編集、笑い声も解釈を導きます。1990年代から2000年代の米国シットコム一作品であり、接客、医療、職場、日本語の日常会話へそのまま一般化できません。

公式配布ページは動画を含むデータと特徴量へのリンクを掲載し、公式リポジトリでは注釈CSVやコードを公開しています。論文は法律事務所へ相談し、短い映像の利用・配布をフェアユースの範囲と判断したと説明しています。ただし、これはあらゆる国、用途、再配布、商用利用を一律に許諾する保証ではありません。リポジトリのGPL-3.0と、テレビ番組の映像・音声の権利条件も分けて確認する必要があります。

日本語では感情の本人評価と第三者評価を分ける

日本語の会話データを作る場合は、参加者本人の自己申告、相手が受け取った感情、第三者が音声・映像から認識した感情を別項目にすると、ラベルの意味が明確になります。評価者には対象発話だけでなく前後の文脈を提示し、文章のみ、音声のみ、映像込みで判断がどう変わるかを残す設計も有効です。

株式会社イングクラウドでは、研究参加者の募集と同意取得、複数人対話の音声・映像収録、話者・発話区間の同期、感情ラベルのガイドライン作成、複数評価者による一致度確認まで設計できます。感情が一致しなかった事例を単純に捨てるのではなく、複合感情、判断不能、確信度として残すことも、現実の曖昧な会話を扱ううえで重要です。