会話の笑いは、いつも「楽しい」という感情だけを表すとは限りません。気まずさを和らげる笑い、相手と同時に起こる笑い、言いにくい内容を笑いながら話す場面もあります。しかし、音声を書き起こして「笑い」と一語だけ記録すると、笑いだけが発せられたのか、言葉と重なっていたのか、どの程度続いたのかが分かりません。

DUELは、ドイツ語、フランス語、中国語の対面会話を、音声・映像・身体動作とともに収録し、笑い、言いよどみ、感嘆表現を共通の方式で記録したコーパスです。この記事では、感情名を付けるのではなく、会話中に観察できる笑いをどのような単位へ分けたのかを中心に見ていきます。

本記事は公開論文と公開コーパスの紹介です。株式会社イングクラウドが当該研究やコーパス制作に関与したことを示すものではありません。

3言語で同じ課題を行う約24時間の対話コーパス

DUEL: A Multi-lingual Multimodal Dialogue Corpus for Disfluency, Exclamations and Laughterは、2016年のLRECで発表されました。収録対象はドイツ語、フランス語、中国語の母語話者で、各言語10組、合計30組です。1組につき3課題へ参加し、一連のやり取りはおよそ45分、コーパス全体は約24時間と報告されています。

ドイツ語話者はビーレフェルト大学の学生で、10組のうち友人・知人が3組、初対面が7組でした。フランス語話者はパリ第7大学の学生で、友人・知人と初対面が各5組です。中国語話者は7組がパリの大学生、3組が現地の中国語フォーラムを通じた募集で、こちらも友人・知人と初対面が各5組でした。性別構成は統制されていません。

自由会話にせず、笑いが生じ得る3つの場面を用意した

研究チームは、沈黙が長くならない程度に話題を具体化しながら、台本の読み上げにはならない三つの課題を設計しました。狙いは、自然な言いよどみだけでなく、楽しさに伴う笑いと、照れや対人調整に関わる社会的な笑いが生じ得る状況を作ることでした。

理想の共同住宅を相談する

二人で広いオープンプランの住居を共有し、家具や内装へ50万ユーロを使えるという設定です。個室は一人ずつ持てますが、残りの空間は共有します。参加者は向かい合って座り、間取り、家具、内装について15分間相談しました。大きな予算と共同生活という設定が、好みの違い、冗談、親密な話題を自然に生じさせます。

恥ずかしい出来事が起きる映画場面を作る

二人で、主人公に恥ずかしい出来事が起きる映画の一場面を15分間考えます。自身の経験を参考にしてもよいと伝えられました。内容を細かく指定しないため自由度が高い一方、「恥ずかしさ」という条件によって笑いや感嘆が起きるきっかけを作っています。

立場の差がある入国審査を演じる

一人が架空の国へ入ろうとする旅行者、もう一人が審査官になります。旅行者には、犯罪歴や違法な物品の所持など、審査で不利になる個別設定が与えられます。さらに旅行者は審査官の義理の親という設定です。二人には役割情報を別々に渡し、終了時間は固定せず、面接が終わったと思った時点で終了しました。20分を超えた組はありません。

最初の二課題が対等な相談であるのに対し、入国審査には役割上の権力差があります。課題後には、二人の関係、知り合ってからの期間や接触頻度、各課題で相互理解できた感覚、不快・恥ずかしいと感じた程度を質問紙で尋ね、そのメタデータもコーパスへ含めました。

二人の音声・映像・骨格座標を同期して収録する

ドイツ語データはビーレフェルト大学、フランス語と中国語のデータはパリ第7大学で収録されました。言語間で比較できるよう、ほぼ同じ技術構成を使用しています。

• 二台のカメラで、両参加者の顔とジェスチャー空間を撮影する
• 参加者別の近接型ラペルマイクで音声を収録する
• Microsoft Kinect 2で身体の動きを取得する
• 骨格座標を時刻付きXMLとして保存する
• MINTツール群を用いて各データ源を同期する

身体へマーカーや専用スーツを装着するモーションキャプチャーではなくKinectを使ったのは、対面会話の自然さを損なわないためです。笑いの音響だけでなく、頭や上半身の動き、相手の反応との時間関係を調べられる構成になっています。

単独の笑いと、笑いながら話した言葉を分ける

文字起こしとアノテーションにはELANではなくPraatが使われ、結果はTextGrid形式で保存されました。公開されているDUEL Transcription and Annotation Manualでは、話者A・Bそれぞれに、発話順を表すturn、発話内容を記録するutterance、英語での言い換え訳、笑い区間の層を設けています。

笑いは、少なくとも次の三つを区別します。

• 単独の笑い：言葉を伴わない笑いのまとまりを<laughter/>で記録する
• 笑いながらの発話：笑いを伴って発音された語句を<laughter>...</laughter>で囲む
• 笑い後の吸気：笑った直後に聞こえる鋭い吸気を<laughterOffset/>で記録する

さらに話者別のlaughter層には、単独笑いと笑いながらの発話の開始・終了時刻を区間として付けます。そのため、二人の笑いの重なり、相手の発話直後に始まった笑い、笑いと身体動作の同期を調べられます。

笑い以外の会話の乱れも同じ書き起こしに残す

DUELは笑い専用コーパスではありません。無音区間、引き伸ばし、フィラー、言い直し、途中で放棄した発話、再開始も記録しています。無音は短・中・長の三段階、フィラーは言語ごとの形を残し、言い直しは「修正前＋修正後」の構造が分かるように囲みます。咳、くしゃみ、舌打ちなど、笑い以外の非言語音も別タグです。

重要なのは、最初から「照れ笑い」「同意の笑い」といった機能ラベルへ決めつけていないことです。まず聞き取れる現象と時間範囲を比較的軽量な方式で記録し、感情や会話機能の解釈は、研究目的に応じて後から追加できます。

非専門家を含む3人で注釈一致を検証した

注釈方式の品質は、別途発表されたDisfluency and Laughter Annotation in a Light-weight Dialogue Mark-up Protocolで検証されています。ドイツ語のDream Apartmentデータ1対話を、著者1人と非専門家2人の合計3人が注釈しました。

語が「笑いながらの発話」に含まれるかについて、free-marginal multi-rater kappaは0.9117でした。修正前区間は0.8954、修正後区間は0.9353、フィラーは0.9937です。研究チームは、笑い区間の境界には多少の判断差があるものの、後続の詳細分析で検索対象を抽出する用途には十分な一致と評価しています。

ただし、この一致度評価はDUELの全3言語・全対話を対象にしたものではなく、ドイツ語の1対話による検証です。言語ごとの笑い方や境界判断まで同程度に一致すると断定はできません。

DUELは笑いの感情や相づち機能を正解ラベルにしていない

DUELから「笑いが起きた場所」は検索できますが、その笑いが喜び、照れ、緊張、同意、相づちのどれだったかを直接示す正解ラベルはありません。感情や会話上の機能を研究する場合は、前後の発話、課題、二人の関係、重なり、表情、身体動作などを基に、別のアノテーション基準を作る必要があります。

元論文も、課題が協力的であり、競争や議論を含まないため、現れる笑いや言いよどみの種類が限られるとしています。特に入国審査では、役柄の中で生じた笑いより、課題設定そのものの奇妙さに対する笑いが多く観察されました。狙った感情を引き出す設定が、参加者に「実験らしさ」を意識させ、別種の笑いを生む可能性があります。

また、友人・初対面の組数や、男女・男性同士・女性同士の組数が少なく、性別も統制されていません。親密度や性別構成による差を定量的に比較するには、条件を均衡させたより大規模な収録が必要です。

日本語で制作するなら、観察ラベルと解釈ラベルを分ける

日本語の笑いを収録する場合も、最初に「楽しそう」「同意している」と判断するのではなく、観察できる現象を時間情報付きで固定するのが安全です。

• 単独笑い、笑いながらの発話、笑い後の吸気を分ける
• 笑い区間を話者ごとに記録し、同時笑いと発話への重なりを計算できるようにする
• 通常の相づち、「笑いを含む相づち」、純粋な笑い声を混同しない
• 感情、同意、緊張緩和、発話順調整などの機能は、別工程・別基準で評価する
• 課題、親密度、役割差、収録後質問紙を、笑い区間と結び付けて保存する
• 境界が曖昧な区間は複数作業者で確認し、開始・終了時刻の許容差を決める

「笑い」という一つのラベルを細分化するだけでなく、音声で確認できる事実と、文脈から推定する機能を分離することが、再利用しやすい対話データを作るうえで重要です。