人は相手が話し終わる前から、次に自分が話すのか、それとも「うん」「なるほど」と短く応じるのかを判断しています。言葉の意味だけでなく、声の調子、沈黙、視線、表情も手掛かりです。会話AIがこのタイミングを誤れば、利用者の考え途中に割り込んだり、応答できる場面で黙り続けたりします。

MM-F2F（Multi-Modal Face-to-Face Conversation Dataset）は、こうした判断をKEEP（話者が話し続ける）・TURN（聞き手へ発話権が移る）・BACKCHANNEL（相づち）の3分類として学習するためのデータセットです。文章、音声、顔映像を時間上でそろえ、各単語の直後に聞き手が取る行動を予測する課題として設計されました。

MM-F2Fは、研究参加者を募集して対面会話を新規収録したデータではありません。インターネット上の英語の二者ビデオ通話を収集し、自動処理と人手検品で構築したものです。また、公式配布ページはプライバシーへの配慮から処理済み映像を直接配布せず、元動画へのリンク、注釈、再構築用スクリプトを提供しています。

約1,000本の公開ビデオ通話から773本を選んだ

研究チームは複数の動画プラットフォームから、英語で日常会話をするオンライン動画を約1,000本収集しました。話題にはキャンパス生活、日常のやり取り、文化交流などが含まれます。台本を読ませた実験ではなく、2人がビデオ通話で自然に話す既存映像を利用した点が特徴です。

選定では顔検出器RetinaFaceを信頼度0.95で全フレームへ適用し、フレームの90％以上で「画面の左右に1人ずつ、計2人が正面を向く」動画だけを残しました。最終的なMM-F2Fは773動画、210時間超、約2,000万フレームです。約955人の話者、169,029発話、150万語超を含み、1発話は平均9.33語、約4.18秒と報告されています。

元の話者に研究課題を依頼していないため、会話の長さや話題は統制されていません。論文には、年齢、国籍、英語母語話者か、研究利用への個別同意は記載されていません。「人種とジェンダーの異なる多様な人物を含む」と説明されていますが、属性別人数や判定方法も不明です。

顔・声・背景を加工し、個人情報を含む会話を除いた

公開映像を扱うため、研究チームは顔、声紋、背景を匿名化しました。顔は1万件超の合成顔プールから元の顔に近い合成顔を選んで置換し、声は話者IDを表す潜在表現の各次元へ標準偏差の20％に相当する摂動を加えて再合成しました。映像は顔領域だけに切り出して背景を除去し、個人情報を含む会話は人手で削除しています。

匿名化による影響も、元データ／匿名化データを学習・評価に組み合わせた4条件で比較し、大きな性能低下はないと報告しています。さらにボランティアへ元動画と処理済み動画を見せ、人物を識別できないことを確認させました。ただし、確認人数、成功率、第三者による再識別リスクは記載されていません。

書き起こし、話者、顔映像を自動で時間同期した

会話の作成工程は5段階です。まずWhisperXのwhisper-large-v3で音声を書き起こし、発話単位と単語単位に分割して開始・終了時刻を付けました。次に発話ごとの話者埋め込みを抽出し、2人だけが話すという前提でKMeansにより二つの話者群へ分けました。

さらにTalkNetで各時点の発話中の顔を検出し、音声側の話者群と画面左右の人物を対応付けました。完成した各発話クリップには、時刻付き書き起こし、対応する音声、現在の話者の顔映像、単語ごとの行動ラベルが入ります。学習時には、ある単語までの文章、対応する音声波形、その時点までの顔フレームをそろえて入力します。

この方法は大規模化しやすい一方、音声認識、単語時刻、話者クラスタリング、発話顔検出の誤りが連鎖します。とくに同時発話、短い相づち、雑音、二人の声質が似る場面では、誰がいつ話したかという研究対象そのものを誤る可能性があります。

TURNは発話末、BACKCHANNELは語彙照合で付けた

ラベルは人が全単語を聞いて一件ずつ判断したものではなく、主に規則で自動生成されています。各発話の最後の単語をTURNとし、既存研究に基づく特定の相づち語彙に一致した箇所をBACKCHANNEL、それ以外をKEEPとしました。データ全体にはTURNが約51,000件、BACKCHANNELが約22,000件あり、約19,000発話が相づちを含みます。相づちを含む発話の約95％では、出現回数が1回または2回でした。

ここでのBACKCHANNELは、聞き手が発話権を奪わずに返す短い反応を指します。しかし同じ「yeah」「right」でも、相づち、同意、質問への回答、次の発話の開始になり得ます。語彙照合は再現可能ですが、発話機能を文脈から人手判定したラベルとは一致しません。また、発話末を一律TURNとするため、話者が文を区切って考え続けた場合や、相手が実際には話し始めなかった場合も発話交替として扱われ得ます。

100人が映像・音声・字幕・匿名化品質を重複検品した

自動処理後、研究チームは100人のボランティアを募り、1人50動画ずつ割り当てました。773動画は1本あたり約6〜7人が重複して確認しています。検品者への依頼は、各クリップについて次の4点を評価することでした。

• 構図と音質：左右に正面向きの2人だけが映り、雑音が過度でなく、会話が明瞭な英語か。
• 発話者：赤枠で示された人物が実際に話しているか。
• 字幕：音声内容をどの程度正しく表しているかを1〜5点で評価。
• 匿名化の自然さ：顔交換、合成音声、口の動きと音声の同期、表情や話速の自然さを1〜5点で評価。

構図・音質または発話者に問題がある動画を除外し、字幕精度か匿名化の自然さが3点以下の区間も削除しました。その結果、クリップの約4％を除外。残ったクリップの平均点は字幕4.72、匿名化の自然さ4.74でした。論文は自動注釈の精度が95％超としていますが、ラベル別の再現率、評価者間一致係数、意見が割れた際の集約規則は示していません。品質値は「全ラベルが人手で正しいと確定した」という意味ではありません。

映像本体を直接配布しない点に注意が必要

公式リポジトリには学習・推論コードがあり、データ準備ページからtrain／validation／testの注釈を取得できます。注釈にはvideo_id、sentence_id、書き起こし、開始・終了時刻、0＝KEEP・1＝TURN・2＝BACKCHANNELのラベル、0＝左・1＝右の話者情報が入ります。

一方、公式ページは元投稿者のプライバシーを理由に処理済みデータを直接公開していません。利用者はvideo_idを使って第三者ツールで元のYouTube動画を取得し、発話音声と顔フレームを自分で切り出します。元動画が削除・非公開化されれば再現できず、地域や時期によって取得可能性も変わります。リポジトリのMITライセンスが、リンク先の第三者映像や話者の肖像・音声まで一括して許諾するとは限らないため、研究倫理、プラットフォーム規約、著作権、個人情報の確認が別途必要です。

自然会話の規模と、ラベル規則の単純さを分けて評価する

MM-F2Fの価値は、英語の自然な二者ビデオ通話を210時間超集め、文章・音声・顔映像を単語時刻で結んだ点にあります。実験でも文章のみ、音声のみ、映像のみより3モダリティの併用が高い成績を示し、KEEP、TURN、BACKCHANNELのF1値はそれぞれ0.806、0.811、0.906でした。ただし、同じMM-F2F上で学習・評価した結果であり、実際の人間とAIの会話、対面空間、日本語会話への一般化を保証するものではありません。

論文自身も、話者が考えながら長く黙り、表情が止まった場面をTURNと誤認しやすい例を挙げています。公開版は顔領域が中心なので、姿勢、手振り、相手との距離などの手掛かりも失われます。さらに、英語の相づち語彙に基づくため、「うん」「はい」「へえ」「そうですね」が承認、理解、驚き、ためらい、発話開始のどれに当たるかを区別する日本語データには、そのまま移植できません。

日本語では「次に何が起きたか」まで人手で確かめる

日本語の発話交替データを作るなら、発話末を機械的にTURNとせず、一定時間後に同じ話者が継続したのか、相手が話し始めたのか、重なったのかを時刻情報から判定する必要があります。相づちも表層語だけでなく、聞き手継続、同意、感情反応、修復要求、発話権取得などの機能を分け、判断不能を許す設計が有効です。

株式会社イングクラウドでは、同意を得た参加者による対話収録、話者別音声、映像と書き起こしの同期、発話区間・重なり・相づち機能の複数人アノテーション、評価者間一致の確認まで設計できます。自然さを求めるほど会話は曖昧になります。その曖昧さを単純な正解へ押し込めず、どの手掛かりで判断したかまで残すことが、実環境で割り込まない会話AIにつながります。