笑い声は、いつも「楽しい」という感情だけを表すわけではありません。照れ、緊張、気まずさの緩和、相手への同意、発話順の調整にも使われます。

DUELは、会話中の笑い、言いよどみ、感嘆表現を、音声・映像・身体動作と一緒に記録した多言語対話コーパスです。

本記事は公開論文と公開コーパスの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる論文

DUEL: A Multi-lingual Multimodal Dialogue Corpus for Disfluency, Exclamations and Laughterは、2016年のLRECで発表されました。

3言語・24時間の対面会話

DUELには、ドイツ語、フランス語、中国語の母語話者が10組ずつ参加しています。各組は、理想の部屋を相談する課題、恥ずかしい出来事を含む映画場面を作る課題、入国審査のロールプレイを行いました。合計約24時間です。

課題は、楽しい笑いだけでなく、照れや立場の差から生じる社会的な笑いも引き出せるよう設計されています。

笑い声と、笑いながら話した区間を分ける

DUELでは、単独の笑い声と、言葉を笑いながら発した区間を区別しています。さらに、笑った後の大きな息継ぎも記録します。

「笑いが起きた」だけでなく、誰が、いつ、何を話しながら笑ったかが時間情報として残るため、相手の発話との重なりや身体動作も分析できます。

音声・映像・身体動作を同期した

二人の顔と身振りを撮るカメラ、話者別のピンマイク、Kinectによる骨格情報が同期されています。文字起こしはPraatのTextGrid形式で、発話、笑い、英訳などを層に分けています。

日本語で作る場合の論点

• 単独の笑いと笑いながらの発話を区別する
• 話者ごとに笑い区間の開始・終了時刻を記録する
• 相手につられた笑い、同時笑い、発話に重なる笑いを残す
• 感情を一つに決めず、会話上の機能を別に評価する
• 親しい人同士と初対面の組を分ける

データ制作の実務で参考になる点

笑いを感情ラベルだけで扱うと、会話を進める働きが消えてしまいます。発話内容、直前の出来事、相手の反応、音響特徴、表情を対応付けることで、笑いを相づちや関係調整として分析できます。