「悲しい」というラベルを当てることと、悲しんでいる相手へ適切に応答することは別の能力です。EmpatheticDialoguesは、相手の感情を認識し、それに配慮して返答する対話AIの研究用に作られました。

本記事は公開論文と公開データセットの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる論文

Towards Empathetic Open-domain Conversation Models: A New Benchmark and Datasetは、2019年のACLで発表された論文です。32種類の感情にひもづく約2万5千件の英語対話を収録しています。

感情を伴う体験から会話を始める

参加者の一人は、指定された感情に関連する自分の体験を文章にします。その人がSpeakerとして会話を始め、別の参加者がListenerとして状況を聞き、返答します。その後、二人は最大6ターンを追加で交わします。

重要なのは、Listenerへ正解文を写させるのではなく、Speakerが会話の中で明かす状況から感情を理解させる点です。共感的な対話には、感情名だけでなく、感情が生じた理由と会話の流れが必要だからです。

「共感的かどうか」も人が評価する

論文では、生成された返答がどの程度共感的に見えるかを人手で比較しています。語句が一致するかだけでは、気持ちに寄り添った返答か判断できません。収集時の参加者とは別に、出力を受け取る側の評価も必要になります。

日本語で作る場合の論点

• 体験談へ個人や勤務先を特定できる情報が入らないようにする
• 感情を直接言う会話と、遠回しに示す会話を分ける
• 返答の自然さと共感性を別々に評価する
• 年代や関係性による応答の違いを記録する

日本語では、励ますことが共感になる場合も、すぐに助言せず話を聞くことが適切な場合もあります。一つの模範回答だけでなく、複数人の評価と理由を残す設計が重要です。

データ制作の実務で参考になる点

感情ラベルを付けた文章を集めるだけでなく、感情が生じた状況、相手の応答、受け手による評価まで一連のデータとして設計しています。AIに学ばせたい行動から逆算して、参加者へ異なる役割を割り当てる好例です。