複数人の会話では、一人が話し終わってから次の人が話すとは限りません。短い相づちが重なり、二人が同時に話し始め、一方が続けたり譲ったりします。

書き起こしで発話を一列に並べると、こうした会話の構造は消えてしまいます。

本記事は公開コーパスの紹介です。株式会社イングクラウドが当該コーパスの構築へ関与したことを示すものではありません。

今回取り上げるコーパス

AMI Meeting Corpusは、約100時間の会議を収録したマルチモーダルデータセットです。約3分の2は、参加者が設計チームの役割を担う共通シナリオで収録され、残りは実際の会議です。

話者別マイクと会議室全体の音を残す

近接マイク、遠隔マイク、個別カメラ、室内全体のカメラ、プロジェクター、ホワイトボード、電子ペンを同期しています。話者別音声があることで、同時発話しても各人の内容を確認しやすくなります。

重なりは二人分の時間区間として記録する

同時発話を一つの「重なり」タグだけで表すのではなく、各話者の発話開始・終了時刻を独立して記録します。その区間が交差した部分を計算すれば、重なりの長さや、誰が先に話し始めたかを分析できます。

すべての重なりが割り込みではない

• 「うん」など相手の発話を支える相づち
• 同じ言葉を同時に言う共同完成
• 相手の発話権を奪う競合的な割り込み
• 発話終了を予測して少し早く始めた交替
• 聞こえなかったための確認

音声波形だけでは機能を区別できません。前後の発話、声の強さ、視線、その後どちらが話し続けたかを確認します。

日本語で作る場合の論点

• 一人一台のマイクと全体音声を同時収録する
• 話者ごとの発話区間を重ねたまま保持する
• 相づちと割り込みを別ラベルにする
• 音声・映像・資料操作の時刻を同期する
• 自動話者分離の結果を人が確認する

データ制作の実務で参考になる点

複数人対話では、完成した文章より、各話者の独立した時間軸が一次データになります。表示用に整形した転記とは別に、重なりを保ったELANやTextGridのデータを残すことが重要です。