俳優に「怒り」を指定して一文を読んでもらう方法なら、感情名と台詞をそろえられます。しかし、相手の言葉に反応したり、話すうちに気持ちが変わったりする過程は残りにくくなります。感情のある対話を集めるなら、研究者は台詞まで決めるべきでしょうか。それとも、場面だけを渡して俳優に任せるべきでしょうか。

IEMOCAPは、男女二人の俳優に戯曲を演じてもらう収録と、架空の場面を与えて即興で会話してもらう収録を組み合わせた英語のデータセットです。両方の対話を音声・映像・動作で記録し、後から発話ごとに第三者が感情を評価しました。ここで比べられるのは、感情を引き出す条件と、実際に受け取られた表現です。

一文の演技ではなく、相手のいる場面を作る

原論文が課題にしたのは、孤立した発話や短い対話では会話の前後関係が失われ、声と身体の動きを同じ場面で調べにくいことでした。IEMOCAPでは平均約5分の対話を収め、相手への返答や感情の移り変わりを残しています。声だけで感情を判定できないと証明する実験ではなく、複数の手がかりを会話の文脈とともに調べられる収録設計です。

参加したのはオーディションで選ばれた女性5人、男性5人の計10人。プロの俳優7人と南カリフォルニア大学演劇学科の上級学生3人を、男女一組の5組に分けました。俳優を選んだのは、狙った感情を含む場面を相手と演じられるようにするためです。ただし、収録されたのは役割を与えられた演技であり、本人の日常で偶然生じた感情の記録ではありません。

台本では台詞と場面をそろえ、演じ方を俳優に残す

研究チームは100本を超える約10分の戯曲を読み、演劇の専門家とともに3本を選びました。幸福、怒り、悲しみ、欲求不満、中立という対象を場面に含み、男女一人ずつの役があることが選定条件です。俳優は台詞を覚え、演技指導者のもとでリハーサルを行いました。指導では、狙いの感情が誇張や戯画化にならないことも重視されています。

同じ3本を各組が演じることで、台詞、役、物語の進行という比較の土台ができます。それでも声の出し方、相手への応じ方、表情や身振りは俳優ごとに変わります。台本は発話内容と大まかな感情の流れを制御する方法であって、各発話から第三者が感じ取る感情を固定する方法ではありません。戯曲の中では場面に沿って感情も徐々に変わります。

即興では二人の役割と感情目標を決め、台詞は任せる

即興収録も、話題を決めない自由会話ではありません。過去に感情を引き起こした状況を集めた先行研究を手がかりに、研究チームは8種類の架空の場面を用意しました。各俳優には、置かれた状況、相手との役割関係、狙う感情が設定されています。たとえば、長時間並んだのに必要書類がなく手続きを断られる場面では、申請者に欲求不満、窓口担当者に怒りを設定しました。

別の場面では、結婚を伝える人と詳しく聞きたがる友人に、それぞれ幸福を想定しています。航空会社に紛失手荷物の補償を求める客には怒り、客を落ち着かせようとする担当者には中立が設定されました。こうして研究者は会話が向かう状況を作り、俳優には具体的な言葉と応答の運び方を任せました。相手の返答で次の発話が変わる余地を残した設計です。

どちらの収録も二人の演技を記録する点は共通です。一方で、台本と即興では台詞だけでなく、戯曲と架空場面、物語内で変化する感情と役ごとの感情目標も違います。二つの収録を比べて現れた差を、台詞の有無だけによる効果とは読めません。

同じ瞬間の声・映像・動作を対応させる

各俳優へ向けたマイクで二人の声を録り、二台のカメラでそれぞれを斜め正面から撮りました。さらに片方の俳優には顔のマーカーと頭部・手のマーカーを付け、専用のカメラで動きを追いました。頭の動きと顔の変形を分けて扱い、手については大まかな移動を記録する構成です。手指の細かな動きまで取ったわけではありません。

一回の対話で詳しく動きを計測したのは一人だけです。ひととおり収録した後にマーカーを相手へ付け替え、休憩を挟んで再び演じました。公式配布案内も、各録画で二人の音声と映像に対して、モーションキャプチャは一人分と記載しています。「同じ会話の二人の詳細な動作」が同時にそろう設計ではありません。

音声、通常の映像、動作計測の時刻は、反射マーカーを付けたカチンコの音と映像で合わせました。これにより、ある発話の声をそのときの表情や頭・手の動きへ対応させられます。ただし急な動きでマーカーを見失う箇所があり、追跡結果を人手で修正し、30フレーム未満の短い欠損は補間しました。全発話の全モダリティが完全にそろっているという意味ではありません。

長い対話を、話者の発話区間へ切り分ける

収録の単位は男女一組のセッション、その中の個々の対話、評価の単位は発話区間です。5セッションは参加者の組み合わせを示し、約12時間は完成したコーパスの音声・映像の長さを示します。各組の収録作業は休憩込みで約6時間でした。

対話は、一人が継続して能動的に話している区間を一単位として人手で分けました。「うん」のような短い傾聴の相づちは独立区間にせず、複数の文が続いても一つの区間になり得ます。台本部分では事前に区切った文を参考にしましたが、各組でまったく同じ境界にすることは求めていません。発話の重なりがある例も原論文に示されています。

こうして得た区間は計10,039件で、台本付きが5,255件、即興が4,784件。一区間の長さは平均4.5秒です。収録音声は書き起こされ、言葉と時間を対応づける処理も行われました。発話区間の件数を、対話の本数や感情注釈者の回答件数と取り違えることはできません。

狙った感情を正解にせず、第三者が受け取った感情を記録する

収録時に目指したのは幸福、怒り、悲しみ、欲求不満、中立の5種類です。しかし、演じられた発話がそのとおりに受け取られるとは限りません。カテゴリー評価では、これらに嫌悪、恐れ、驚き、興奮を加えた9種類から選び、当てはまらなければ「その他」とコメントを残せるようにしました。単一選択を基本としながら、混ざった感情には複数選択も認めています。

評価を担当したのは英語に堪能な南カリフォルニア大学の学生6人で、各発話区間を別々の3人が評価しました。評価者は映像を見たうえで区間を順番に判定し、音声、映像、それまでの会話を参照できました。一つの発話を孤立した音声だけで判定した結果ではありません。一区間内では感情が移り変わらないものとして一回の評価を付ける設計です。

集約では、複数選択も含めて最多票の感情が一意に決まる区間にラベルを割り当てました。この条件で一致したのは全体の74.6％で、台本付き66.9％、即興83.1％です。一致しない区間は原論文の一部の分布分析から外していますが、収録データ全体から削除したという記述ではありません。この差は評価者の判断のまとまり方を示し、即興の感情がより自然だという測定値ではありません。

感情名とは別に、二人の評価者が感情価（不快から快）、活性度（落ち着きから高い興奮）、優位性（弱さから強さ）をそれぞれ1～5で評価しました。原論文執筆時点で、この次元評価が終わっていたのはデータの約85.5％です。さらに俳優6人も即興部分について自分の発話を評価しています。場面で狙った感情、俳優本人の事後評価、第三者の判断、集約したラベルは別々の情報です。

台本と即興を併せた設計から何を比べられるか

台本付き対話では、同じ戯曲を別の組がどう演じるかを、台詞と役をそろえて検討できます。即興対話では、与えられた場面や役割のもとで言葉と反応がどう生まれるかを追えます。さらに同じ時間軸上に音声・映像・一人分の動作があるため、発話の変化と表情や身振りの関係を調べる材料になります。原論文は、ある動作が特定の感情の客観的な正解だとは示していません。

類似のデータを作るなら、まず同じ台詞で話者を比べたいのか、場面を決めて応答の違いを残したいのかを決めます。そのうえで、役割と感情目標、俳優に任せる台詞、収録する人ごとの信号、発話の区切り方、評価者が参照する文脈をそろえて指定します。IEMOCAPが示すのは、感情名を発話へ貼るだけでなく、どう会話を生み、どの単位で第三者の判断に変えるかまで設計する必要があるということです。