四人の会議で「それで大丈夫です」と発言した人がいても、誰の提案へ答えたのかが分からなければ、会話の流れを正しく理解できません。

複数人会話では、何を話したかだけでなく、誰が話し、誰へ向け、どの発言へ応答したのかを記録する必要があります。

本記事は公開コーパスを例に、複数人対話データの設計を紹介するものです。実際の収録では、参加者の同意、匿名化、利用範囲の確認が必要です。

会議を複数の機器で収録したAMI Meeting Corpus

AMI Meeting Corpusは、約100時間の会議を収録したマルチモーダルな英語コーパスです。

音声だけでなく、複数方向の映像、個別マイク、ホワイトボードやスライドなどが記録され、発話区間、話者、対話行為、要約などの注釈が整備されています。

話者IDだけでは会話構造が分からない

二者会話では、話者Aの発言は多くの場合、話者Bへ向けられています。四人会話では、全員への発言、特定の一人への質問、隣同士の小声の会話が同時に起こります。

最低限、次の情報を分けて記録します。

• 発話者ID
• 発話の開始・終了時刻
• 明示的または推定された宛先
• どの発話への返信か
• 複数話者の重なり
• 視線や身体の向き
• 全体発話か小集団への発話か

宛先は呼び掛けだけで決まらない

名前を呼べば宛先は分かりやすい一方、実際の会話では視線、直前の質問、話題の担当者、身体の向きから判断することが多くあります。音声だけでは分からず、映像を確認して初めて判断できる場合もあります。

評価者が推定した宛先には確信度を付け、「全員」「不明」「複数人」も選べるようにします。無理に一人へ決めると誤った関係がデータへ入ります。

同時発話を削除すると人間関係の情報も失われる

割り込み、相づち、笑いの重なりは、音声認識には扱いにくい部分です。しかし、同意、競合、発言権、親密さを示す重要な情報でもあります。

重なりをノイズとして消すのではなく、各話者の個別音声と時間情報を保持し、必要に応じて重複区間へラベルを付けます。

収録設計がアノテーション可能性を決める

一本の会議室マイクだけでは、話者や宛先を後から確認できないことがあります。参加者別マイク、全景映像、正面映像、座席表、同期時刻を収録時に用意すると、後工程の精度が上がります。

「何を研究したいか」だけでなく、「その情報を後で誰がどの素材から判断するか」まで考えて機材と配置を決めます。

日本語の複数人会話で残したい情報

日本語では主語や宛先が省略されやすく、「先生」「部長」「〇〇さん」といった呼称が関係性の手掛かりになります。敬語、相づち、視線、発話順を組み合わせることで、誰が誰へ話しているかを推定できます。