会議音声では、発話が重なること自体は珍しくありません。しかし、二人の音声区間が重なったという音響的な事実と、一方が他方の発話権を奪ったという会話上の「割り込み」は同じではありません。短い「うん」「なるほど」は発話を妨げない相づちかもしれず、相手の文を一緒に完成させる協調的な重なりもあります。

AMI Meeting Corpusは、この違いを検討するための代表的な会議コーパスです。ただし、AMIがあらゆる重なりを「割り込み」として分類済みなのではありません。話者別の音声・転記・時間情報から同時発話を抽出し、対話行為や映像を参照しながら、その機能を研究目的に合わせて判定するのが基本です。

約100時間の会議を共通の時間軸で記録

公式概要によると、AMIは約100時間の英語会議を収録しています。全体のおよそ3分の2は、参加者が架空の製品を設計するチームを演じるシナリオ会議で、残りは研究会やプロジェクト会議など、もともと実施される予定だった自然会議です。

シナリオ会議は原則4人で行われ、プロジェクトマネージャー、マーケティング担当、ユーザーインターフェース設計者、工業デザイナーの役割を分担します。参加者はその職種の専門家として採用されたわけではなく、当日に役割説明を受け、キックオフ、機能設計、概念設計、詳細設計の4会議を通して一つの課題に取り組みました。役割は4会議を通じて維持されます。自然会議は通常4人ですが、3人または5人の例もあると注釈マニュアルに記されています。

収録は音声だけではありません。各参加者の近接マイク、室内の遠隔マイク、各人を捉えるカメラ、部屋全体のカメラ、プロジェクター、電子ホワイトボードなどが用いられました。公式概要は、個人用ペンの記録を「非同期」と明記しているため、すべての機器が完全に同期していたと説明するのは正確ではありません。利用可能な信号の内訳は公式ダウンロード案内で確認できます。

同時発話は話者別区間の重なりから求める

AMIには各話者の高品質な手動転記があり、単語単位の時刻は音声認識による強制アライメントで付与されています。したがって、話者Aの単語または発話区間と話者Bの区間が同じ時間帯に存在する箇所を計算すれば、「二人以上が同時に発声した区間」を抽出できます。

ここで注意したいのは、単語時刻がすべて人手で打刻されたわけではないことです。重なり、笑い、雑音、短い相づちではアライメント誤差が生じ得るため、境界の数百ミリ秒が重要な研究や学習データ制作では、近接マイクと映像を使った人手確認が必要です。部屋のマイクだけを使う場合は、別話者の音が回り込むクロストークも考慮します。

「重なった」だけでは割り込みと呼べない

AMIの注釈一覧には、対話行為、トピック、要約、固有表現、視線方向、頭部・手の動きなどがあります。対話行為には、主話者を止めずに理解や追従を示すBACKCHANNELと、発話権を得る・保つためのSTALLが含まれます。未完の意図などを扱うFRAGMENTもあります。

一方、標準注釈として、すべての同時発話を「競合的な割り込み」「協調的な補完」「早すぎる次話者開始」などに一括分類した汎用ラベルは示されていません。別の話者が語句を補って共同で発話を完成させた場合も、対話行為注釈マニュアルでは話者ごとに別セグメントとして扱います。このため、割り込み研究では次の二段階が安全です。

1. 話者別の時間情報から、発話区間が重なる候補を機械的に抽出する。
2. 前後の発話、対話行為、視線、身振り、発話後に誰が話し続けたかを見て、相づち・共同補完・競合的割り込みなどを人手で分類する。

判定基準には、重なりの開始位置、長さ、音量変化、主話者が発話を中断したか、重なりの後に発話権が移ったかを含めると再現性が上がります。「相手の発話中に声を出した」だけを割り込みの定義にすると、バックチャネルまで誤って数えてしまいます。

注釈はNXT形式、収録範囲は注釈層ごとに異なる

AMIの転記・注釈は、時間情報と構造を相互参照できるNXT形式で配布され、NITE XML Toolkitを使って扱えるよう設計されています。ELANやPraatのTextGridが公式の標準配布形式という説明は適切ではありません。必要に応じて変換して分析環境へ取り込みます。

また、すべての会議にすべての注釈が付いているわけではありません。公式概要では、言語注釈はシナリオ会議全体を対象とする一方、他の注釈には一部会議だけを対象とするものがあるとされています。対話行為や視線を併用する際は、先に会議IDごとの収録・注釈の有無を確認する必要があります。

日本語会議データの設計に応用するなら

日本語の会議コーパスを作る場合も、AMIから学べるのは「割り込み」という単一ラベルを先に置くことではなく、後から再判定できる観測層を残すことです。

• 参加者ごとの近接マイクと室内マイクを併用し、話者別音声を保持する
• 転記、話者、開始・終了時刻を別々の項目として保存する
• 「はい」「うん」などの相づちを、競合的な割り込みから分ける
• 視線・身振り・共有画面を音声と照合できる共通時間軸を設ける
• 自動検出した重なり候補を人手で確認し、判定不能も許容する
• 複数注釈者で一致率を測り、境界例を注釈ガイドラインに追記する

AMIは英語会議で、参加者の多くが非母語話者です。さらにシナリオ会議には役割演技という条件があります。日本語の職場会議へそのまま一般化せず、敬語、相づちの頻度、上下関係、オンライン会議の遅延など、日本語会話に固有の条件を追加して設計する必要があります。

同時発話は事実、割り込みは解釈として記録する

AMI Meeting Corpusは、約100時間の会議を複数の音声・映像チャンネルで記録し、話者別転記や多層注釈を提供する基盤です。同時発話は時間区間の交差として抽出できますが、それが割り込みか相づちかは時間情報だけでは決まりません。音響的な重なりをまず事実として保存し、対話機能の判定を別レイヤーにすることが、再利用しやすい会議データを作る要点です。