四人の会議で「それで大丈夫です」と言った人がいても、誰の提案に答えたのかは文字だけでは分からないことがあります。直前の話者への返答なのか、特定の担当者への指示なのか、全員へ同意を求めたのか。複数人会話では、話者IDだけでなく発話の宛先とどの発話への応答かを分けて記録する必要があります。

AMI Meeting Corpusは、約100時間の英語会議を同期収録したマルチモーダルコーパスです。宛先注釈は単独の独立作業ではなく、発話を意図ごとに分割し、対話行為を分類する工程の一部として設計されました。

宛先は「映像に顔が向いている人」と機械的に決めるものではありません。AMIの作業手順では、発話内容、直前のやり取り、会議中の役割、視線や指差しを組み合わせて判断します。

約3分の2は、四人でリモコンを設計する模擬会議

全データが自然発生した社内会議ではありません。約3分の2は、架空の電子機器会社の設計チームを演じるシナリオ会議です。四人はプロジェクトマネージャー、マーケティング担当、ユーザーインターフェース設計者、工業デザイナーに分かれ、新しいテレビ用リモコンを一日で設計しました。

同じ四人が同じ役割のまま、キックオフ、機能設計、概念設計、詳細設計の4会議を行います。会議の間には個人作業があり、電子メール、模擬ウェブページ、文書作成、スライドを使いました。参加者は設計の専門家や担当職務の経験者ではなく、開始時に役割訓練を受け、模擬コーチから同じ条件の助言メールを受けました。

残りは、別のロールプレイと実際の組織で行われた自然会議です。通常は四人ですが、三人または五人の会議もあります。一次資料には、参加者の総人数、年齢・性別構成、募集方法、報酬、同意手続きの詳細は記載されていません。

個別マイクと複数映像を同じ時刻へ同期

三つの会議室には音響特性や機器配置の違いがあります。音声は各参加者のヘッドセット・ラペルマイクに加え、卓上または天井の4本・8本マイクアレイなどで収録しました。映像は四人それぞれのクローズアップカメラと、部屋全体を捉える2～3台のカメラを使用しています。

スライド投影、電子ホワイトボードの筆跡座標、デジタルペンの筆記も記録しました。主要な音声・映像信号には共通の中央タイムコードを使い、同じ瞬間を別のチャンネルから参照できます。デジタルペンだけはローカル時刻で記録され、後から可能な範囲で同期した例外です。

この構成により、音声だけでは曖昧な宛先を、話者の映像、室内全景、直前の発言、スライドやホワイトボードの操作と突き合わせられます。ただし、公式ページが示すとおり、視線・頭部動作などの注釈はコーパス全体へ同じ密度で付いているわけではありません。

最初に「一つの意図」ごとへ発話を分ける

AMIの対話行為注釈では、書き起こしの行をそのまま1発話として扱いません。文字起こし担当者が見やすさのために切った行境界と、話者の意図の境界は一致しないからです。一人が連続して二つの質問をすれば二つに分け、複数行にまたがる一つの意図は結合します。宛先が途中で個人から全体へ変わる場合も別セグメントにします。

各セグメントは、情報提供、質問、提案、評価、理解確認などの対話行為に分類されます。「うん」「そうですね」が発話権を奪わず聞いていることだけを示す場合はBACKCHANNEL、発言権を保つための言いよどみはSTALL、意図を完結できなかった断片はFRAGMENTです。発話の形ではなく、その場で何をしようとしたかを音声と映像も見て判断します。

宛先ラベルは個人・Group・UNC

作業者は、BACKCHANNEL、STALL、FRAGMENT、OTHERを除く対話行為ごとに宛先を付けます。選択肢は参加者ID、Group、判定不能のUNCです。二人以上への発話と会議全体への発話は区別せず、どちらもGroupになります。独り言はOTHERに含まれるため、宛先付与の対象外です。

個人宛と判断するのは、話者がその人から反応・回答・行動を期待している、特定人物からの質問へ直接返答する、その人の発言を評価する、謝罪や否定などを直接向ける場合です。名前が話題に出ただけでは宛先になりません。例えば第三者としてある参加者に言及しながら全体へ話しているなら、ラベルはGroupです。

視線だけで宛先を決めてはいけない

公式アノテーション手順書は、次の手掛かりを組み合わせるよう求めています。

• 名前や役割名による呼び掛け、発話内容
• 直前に誰が話したか、誰の質問への返答か
• 発表中か共同意思決定中かといった会議状況
• 各参加者の担当領域に関する知識
• 視線、身体の向き、指差し

ただし視線は補助手掛かりです。話者は、直前の話者、正面の人、司会者、反応を確認したい聞き手を見ることがあります。AがBを見ていても、全員へ話している場合があります。指差された人も、話題の対象であって宛先とは限りません。

「誰への発話」と「何への応答」は別に記録

宛先ラベルは聞き手を表しますが、応答リンクは現在の対話行為がどの行為を受けたかを表します。例えば質問と回答をsource・targetで結び、応答をPOSITIVE、NEGATIVE、PARTIAL、UNCERTAINに分類します。回答、拒否、聞き返し、「分からない」という反応もリンク対象です。

一方、物を見た感想や議論全体への評価では、元となる一つの発話を特定できません。その場合はsourceを未指定にできます。BACKCHANNELは通常、進行中の主発話への反応ですが、数が多く自動推定できるため、手作業で応答リンクを付けないという省力化も行われました。

重なりは削除せず、話者別の時間情報を保持

AMIの書き起こしは参加者別に作られ、同時発話も各話者の系列として残ります。最初の担当者が音声区間と文字を作り、次の確認者が無音区間も含めて見直し、聞き落とし、境界、判読不明箇所を修正しました。一部は管理者による3回目の確認を受け、最後に辞書による綴り、使用不能な記号、データ形式をスクリプトで検査しています。

単語時刻は音声認識器によるforced alignmentで付与されました。自動処理なので、特に重複発話や非音声音の近辺では誤差が生じ、音素境界はさらに慎重に使う必要があります。個別マイクがあっても、時間情報を完全な正解とはみなせません。

品質管理について確認できること・できないこと

文字起こしには二段階以上の人手確認と機械検査があり、宛先注釈には34ページの手順書、具体例、判断基準、UNCが用意されています。注釈形式はNITE XML Toolkitの構造化XMLで、時間軸だけでなく、単語、対話行為、応答リンクを相互参照できます。AMI公式データがELAN形式で作られたわけではありません。

一方、公式アノテーションページは、対話行為・宛先スキームの信頼性試験結果を「現在利用不可」としています。したがって、評価者間一致度や宛先精度の具体的な数値は一次資料から確認できません。詳細な手順書があることと、全ラベルの一致率が実証されていることは分けて評価する必要があります。

データの限界：模擬会議と英語非母語話者

シナリオ会議は役割、課題、日程を統制できる反面、実際の職場で長年築いた権限関係や専門知識を再現しません。参加者は担当職の未経験者で、1日に4会議を行います。自然会議は現実的ですが、背景情報が少なく、シナリオ会議と条件がそろいません。

会議はすべて英語で、多くの話者は英語非母語話者です。これは発音の多様性を生む一方、日本語の宛先省略、敬語、終助詞、相づちの機能を直接表すデータではありません。またGroupが「二人の小集団」と「会議全体」を区別しないため、サイド会話を詳しく研究する用途には粒度が足りません。

さらに、宛先は話者が意図した相手です。実際に誰が聞いたか、誰が自分宛だと受け取ったか、誰が次に応答したかとは一致しない場合があります。この三つを研究したいなら、意図された宛先、知覚した受信者、実際の応答者を別の層で設計します。

日本語の複数人会話へ応用するなら

日本語では主語や目的語が省略され、「先生」「部長」「〇〇さん」といった呼称、敬語の向き、終助詞、視線、直前の質問を組み合わせる必要があります。個人、会議全体、複数人の小集団、独り言、不明を分けるかは、研究目的に合わせてAMIより細かくできます。

収録時には参加者別マイク、全景映像、顔や上半身が見える映像、座席表、役割情報、共通同期を用意します。アノテーションでは、まず意図単位の区間と対話行為を確定し、その後に宛先と応答元を付けます。ELANを使う場合も、話者、宛先、応答リンク、判断根拠、確信度を別tierにし、UNCを無理に個人へ割り振らない設計が必要です。

一次資料・公式配布ページ

• Carletta et al., “The AMI Meeting Corpus: A Pre-announcement”
• AMI Meeting Corpus公式配布ページ
• Guidelines for Dialogue Act and Addressee Annotation Version 1.0
• AMI Corpus公式アノテーション一覧