AIに感情を覚えさせる、相手の気持ちを理解させる、会話の空気を読ませる。このような研究が進んでいると聞くと、AIが人間と同じように喜んだり悲しんだりする姿を想像するかもしれません。

しかし、現在の研究で行われているのは、AIの内側に人間と同じ感情を生み出すこととは少し異なります。

人が会話を見たり聞いたりして、「この発話は怒りを表している」「この出来事が悲しみの原因になった」「この状況では、この返答が共感的に感じられる」と判断する。その判断をデータとして記録し、AIが感情の分類、原因の推定、応答の生成をできるように学習・評価しています。

この記事では、感情認識、文脈理解、感情の原因推定、共感応答に関する公開論文をもとに、どのようなデータを使い、どのようにAIへ学習させているのかを紹介します。

本記事で紹介する論文・データセットは、当社が受託した個別案件や現在募集中の案件との関係を示すものではありません。同種のデータが研究でどのように利用されているかを知っていただくための一般的な例です。

「AIが感情を理解する」には複数の研究課題がある

感情を理解するAIと一口にいっても、研究では異なる課題へ分けて扱われています。

研究課題	AIが行うこと	必要になるデータ
感情認識	発話を喜び、怒り、悲しみなどへ分類する	発話と感情ラベル
マルチモーダル感情認識	文章、声、表情などを組み合わせて判断する	同期したテキスト、音声、映像
文脈理解	前後の発話や話者関係から意味を推定する	複数ターンの対話と話者情報
感情原因の推定	感情を生じさせた出来事や発話を探す	感情表現と原因発話の対応
共感応答	相手の状況や感情に合う返答を生成する	感情的な状況と人間の応答例

単独の文章を分類するだけなら、「うれしい」「最悪だ」といった感情語が手掛かりになります。しかし、実際の会話では、短い返事、皮肉、遠回しな表現、声の調子、直前の出来事によって意味が変わります。

そのため、研究が進むにつれて、一つの発話だけでなく、音声や映像、会話履歴、感情が生じた原因まで含むデータが使われるようになっています。

文章だけでなく、声・表情・会話履歴から感情を推定する

MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversationsは、複数人の会話における感情認識のために作られたデータセットです。

テレビドラマ『Friends』から1,433件の対話、約13,000発話を収録し、各発話にテキスト、音声、映像、話者、感情、感情の肯定・否定などを対応させています。感情は、怒り、嫌悪、恐れ、喜び、中立、悲しみ、驚きの7種類です。

例えば「Okay」「Yeah」「No」のような短い言葉は、文章だけを見ても感情が分かりません。納得しているのか、怒っているのか、諦めているのかは、それまでの会話、声の調子、顔の表情によって変わります。

MELDでは、3人の評価者が発話に対応する動画も見て感情ラベルを付け、多数決で最終ラベルを決めています。3人の判断がすべて異なった発話は、その対話とともに除外されました。

この事例から分かるのは、感情認識用データが単なる文章とラベルの表ではないことです。映像から発話区間を切り出し、音声を分離し、書き起こしと時刻を合わせ、話者を記録したうえで、人が感情を評価しています。

一つの感情へ絞れない文章をどう扱うか

GoEmotionsは、英語のRedditコメント58,009件に、27種類の感情とNeutralを付けたデータセットです。

一つの文章に複数の感情ラベルを付けられる設計になっており、「安心したが少し寂しい」のように感情が重なる状態を表現できます。感情を必ず一種類へ押し込むのではなく、複数ラベルと評価者間の不一致を残している点が特徴です。

感情分類を細かくするほど、評価者が同じラベルを選びにくくなります。ラベル名だけでなく、定義、具体例、似た感情との境界を示さなければなりません。

同じ発話でも、会話の流れによって意味が変わる

会話の文脈を理解するには、対象となる一文だけでなく、その前後を一つのまとまりとして扱います。

例えば「よかったね」という言葉は、純粋な祝福にも、皮肉にもなります。「もう帰っていいよ」という言葉も、通常の案内なのか、怒りによる拒絶なのかは、直前のやり取りや声の調子を見なければ判断できません。

対話データでは、次のような情報が文脈になります。

• 直前に誰が何を言ったか
• 同じ話者の感情がどのように変化したか
• 会話に何人参加しているか
• 話者同士がどのような関係にあるか
• どの出来事について話しているか
• 発話時の表情、声の高さ、間、強さ

AIにコンテクストを理解させるというのは、会話履歴を長く入力することだけではありません。発話、話者、出来事、時間、感情の変化を、学習や評価に利用できる形で対応付けることでもあります。

「どんな感情か」だけでなく「なぜそう感じたか」を探す

感情を分類できても、その原因を理解できるとは限りません。そこで研究されているのが、会話中の感情表現と、その原因になった発話を対応付けるEmotion-Cause Pair Extractionです。

Enhancing Emotion-Cause Pair Extraction in Conversations via Center Event Detection and Reasoningでは、会話に含まれる中心的な出来事を検出し、感情と原因の関係をグラフとして扱う手法が提案されています。

長い会話には、仕事、家族、予定、過去の出来事など、複数の話題が混在します。会話全体を一つの文脈として処理すると、別の出来事に関係する発話まで影響し、感情と原因を誤って結び付ける可能性があります。

そこで、中心となる出来事の周囲に発話を整理し、どの感情がどの原因に対応するかを推定します。学習データには、感情を表した発話のラベルだけでなく、その感情を引き起こした発話との組み合わせが必要です。

例えば、ある人が「本当にうれしい」と発言した場合、原因は直前の「試験に合格した」という発話かもしれません。一方、会話の途中に出てきた別の成功談は、その感情の直接的な原因ではない可能性があります。人がこの関係を読み取り、正解データとして記録します。

原因・動機・次の出来事・相手の反応を推論する

感情理解に近い別の研究として、対話に含まれる常識を推論する課題があります。

CICERO: A Dataset for Contextualized Commonsense Inference in Dialoguesは、5,672件の二者対話に、53,105件の推論データを付けたデータセットです。

各発話について、次の5種類を推論できるようにしています。

• その発話や出来事が生じた原因
• その後に起こりそうな出来事
• 出来事が起こるために必要な前提
• 話者がその発言をした動機
• 発言を聞いた相手の感情的な反応

これは、文章中に明示されていない内容を、会話と一般的な知識から補う課題です。AIが会話の続きを自然に予測したり、なぜその発言をしたのかを説明したりするためには、このような推論が必要になります。

データ作成では、単純な分類ラベルを選ぶのではなく、会話を読んだ人が原因、動機、反応などの候補を文章で作ります。さらに、もっともらしい候補と不適切な候補を見分ける評価データも作られます。

人が共感的だと感じる応答を学習する

相手の感情を認識した後、その状況に合う返答を生成する研究もあります。

Towards Empathetic Open-domain Conversation Modelsで公開されたEmpatheticDialoguesは、感情を伴う状況をもとにした約25,000件の対話を収録しています。

参加者の一人が、誇らしかった、悲しかった、腹が立った、不安だったといった感情に関係する体験を説明し、もう一人がその状況を聞いて応答します。こうして、状況、感情、人が実際に返した言葉を対応付けます。

このデータで学習した対話モデルは、一般的なインターネット上の会話だけで学習したモデルより、人間の評価者から共感的だと評価されました。

ここでAIが学んでいるのは、「悲しい人には必ずこの言葉を返す」という一つの正解ではありません。さまざまな感情的状況と応答例から、相手の経験を認める、質問する、励ますなどの応答パターンを学びます。

共感的な返答を方法ごとに分けて学ぶ

Towards Emotional Support Dialog Systemsで公開されたESConvは、悩みを話す相談者役と支援者役の対話を収録しています。

支援者の発話には、質問、言い換え、感情の反映、自己開示、肯定と安心、提案、情報提供などの方略が付けられています。AIは共感的な文章をまねるだけでなく、会話の段階に応じてどの支援方法を使うかを学習できます。

収集時には支援者向けの教材が用意され、会話中と終了後に相談者から評価を得ています。質の高い対話データを作るには、参加者募集だけでなく、事前教育、進行管理、利用者側の評価が必要なことを示す事例です。

日本語の医療対話では28種類の感情を扱う

日本語でも、感情に配慮した応答を作るためのデータセットが研究されています。

EmplifAI: a Fine-grained Dataset for Japanese Empathetic Medical Dialogues in 28 Emotion Labelsは、慢性疾患を抱える患者への共感的な対話を扱う日本語データセットです。

病気の診断、治療、生活管理などでは、希望や安心だけでなく、不安、失望、罪悪感、絶望など、さまざまな感情が生じます。その違いを扱うため、28種類の細かな感情分類を使用しています。

データセットには、医療上の文脈を持つ280の状況と、4,125件の2ターン（2発話）の対話が収録されています。会話はクラウドソーシングで作成され、専門家による確認も行われました。

さらに、このデータで日本語LLMをファインチューニングし、流暢さ、一般的な共感性、個別感情への共感性を評価しています。評価ではLLMによる判定だけに依存せず、人間の評価者との比較も行っています。

この事例は、日本語の共感対話を作る場合、単に自然な返事を集めるだけでは足りないことを示しています。利用場面を定め、感情分類を設計し、作業者が対話を作り、専門知識のある人が内容を確認し、最後に人が生成結果を評価するという複数の工程があります。

感情の正解は誰が決めるのか

画像に写った物体の名前や、音声で発話された文字列と比べると、感情には一つの正解を決めにくい場合があります。

笑っている人が必ず喜んでいるとは限りません。困惑を隠すために笑うこともあれば、皮肉や緊張による笑いもあります。同じ発話を聞いても、怒りと感じる人、悲しみと感じる人、中立と感じる人がいるかもしれません。

そのため、感情データの作成では次のような方法を組み合わせます。

• 本人が自分の感情を回答する
• 第三者が表情、音声、会話を見て判断する
• 複数人が独立して評価する
• 多数決または平均値で統合する
• 評価者間の一致度を計算する
• 判断が分かれたデータを除外または別に残す
• 専門領域では有識者が確認する

本人の自己申告と第三者の観察には、それぞれ異なる意味があります。本人の内面を知りたい研究では自己申告が重要ですが、カメラやマイクから外部に現れた感情を推定したい場合は、第三者からどう見えるかも必要です。

また、評価者の不一致を単なる作業ミスとして扱わないことも重要です。判断が分かれる例には、感情表現そのものの曖昧さや、ラベル定義の不足が含まれている可能性があります。

感情・文脈データを作るために必要な工程

論文で公開されるデータセットを見ると、AIモデルの構造だけでなく、その前段階に多くの人手があることが分かります。

1. 研究で扱う感情や文脈の定義を決める
2. 会話場面、参加者条件、収録方法を設計する
3. 説明と同意を得て、音声・映像・テキストを収集する
4. 発話単位へ分割し、話者と時間情報を付ける
5. 音声、映像、書き起こしを同期する
6. 複数の評価者が感情や原因を付与する
7. 不一致を確認し、統合または再判定する
8. 学習用と評価用に人物や対話を分ける
9. AIの出力を人が評価する

感情ラベルだけを後から追加すれば完成するわけではありません。研究目的によっては、発話の前後関係、話者の変化、表情、声、感情の原因、応答の自然さまで保持しなければなりません。

一方で、すべての情報を集めればよいとも限りません。映像や私生活上の体験にはセンシティブな情報が含まれる可能性があります。利用目的、必要な情報、公開範囲、保管方法を決め、研究に不要な情報を増やさない設計も必要です。

AIが感情を持つことと、感情に合う出力をすることは別である

感情認識や共感対話の性能が向上しても、それだけでAIが人間と同じ感情を体験していることにはなりません。

現在の研究で評価できるのは、与えられた文章、音声、映像、会話履歴から、人が付けた感情ラベルをどの程度予測できるか、人が共感的だと評価する返答をどの程度生成できるかという点です。

ただし、利用者にとっては、AIの内側に感情があるかどうかとは別に、状況を誤解せず、傷つける返答を避け、必要に応じて人へつなぐことが重要です。医療、教育、相談、接客などでは、正答率だけでなく、誤った感情推定が与える影響も考える必要があります。

AIの感情理解を支えているのは、人間の会話、表情、声、状況説明と、それらを読み取って付けた判断です。感情や文脈を扱う研究ほど、どのような人から、どのような状況でデータを集め、誰が正解を決めたのかが重要になります。