会話への関心は、発言内容だけに表れるわけではありません。相手の話を聞きながらうなずく、短く相づちを打つ、視線を向ける、表情を変える。私たちは複数の手がかりを組み合わせて、「この人は話に参加している」「少し関心が離れている」と判断しています。

ところが、うなずきや相づちの使い方は、言語や文化によって同じとは限りません。ある言語圏で関心の表れとして機能する動作を、そのまま別の言語圏へ当てはめると、AIが会話への関与を誤って評価する可能性があります。

この問題を調べるために作られたのが、対面型の知識共有会話を記録したマルチモーダルコーパスNoXiと、日本語・中国語の会話を加えたNoXi+Jです。本記事では、NoXi+Jがどのような会話を収録し、音声、表情、相づち、ジェスチャーから文化差とエンゲージメントをどのように分析したのかを読み解きます。

本記事は、公開されている論文とデータセット情報をもとに、データ設計の観点から内容を整理したものです。個々の文化や話者の行動を一律に説明するものではありません。

今回取り上げる論文とデータセット

Multilingual Dyadic Interaction Corpus NoXi+J: Toward Understanding Asian-European Non-verbal Cultural Characteristics and Their Influences on Engagementは、Marius Funk氏、Shogo Okada氏、Elisabeth André氏が2024年のInternational Conference on Multimodal Interactionで発表した論文です。

研究では、フランス、ドイツ、英国の参加者を含むNoXiへ、日本語と中国語の二者会話を追加してNoXi+Jを構築しました。目的は、非言語行動の文化的な違いを調べ、それらが会話への関与、つまりエンゲージメントの認識や予測にどう影響するかを検討することです。

NoXi+Jの公式データセットページでは、映像、音声、アノテーションを含む研究用データとして案内されています。利用にはEULAへの同意が必要で、用途は非商用の科学研究に限定されています。

NoXiは「詳しい人」と「学びたい人」の会話を収録した

NoXiの特徴は、単に二人へ自由会話を依頼したのではなく、ある話題に詳しい人と、その話題を学びたい人を組み合わせた点にあります。画面越しに知識を伝える状況を作ることで、説明、質問、理解確認、相づち、割り込みなどが自然に生まれます。

元のNoXiは、英語、フランス語、ドイツ語など複数言語の会話を含みます。プロジェクトの報告によれば、84組の対話を3地点で収録し、同期した音声、映像、深度情報は合計50時間を超えます。

収録対象には、発話内容だけでなく、ジェスチャー、笑顔、発話交替、対話行為、関心、会話の流暢さなどが含まれます。参加者が予想外に割り込む場面のような、台本どおりには進まない相互作用も重視されています。

NoXi+Jでは日本語と中国語を追加した

NoXi+Jでは、日本語と中国語の二者会話を追加し、欧州の言語圏とアジアの言語圏をまたいだ比較を可能にしました。ここで重要なのは、文章だけを翻訳して比較したのではないことです。

会話中の音声、顔の動き、相づち、ジェスチャーを同じ時間軸で記録し、話し手と聞き手の行動がどのように連動するかを分析しています。

• 声の高さ、強さ、リズムなどの音響特徴
• 笑顔や顔の動きなどの表情特徴
• 短い応答やうなずきなどのバックチャネル
• 手や頭の動きを含むジェスチャー
• 会話への関心や参加状態を示すエンゲージメント

同じ「聞いている」という状態でも、頻繁に声を出す人、黙ってうなずく人、視線や表情で反応する人がいます。マルチモーダルデータにすることで、一つの手がかりだけでは見落とす行動を扱えます。

「相づちが多いほど関心が高い」とは限らない

相づちは、聞き手が会話へ参加していることを示す代表的な手がかりです。しかし、相づちの形式や頻度は言語ごとに異なります。「はい」「うん」「なるほど」のように声で応答する場合もあれば、声を出さずにうなずく場合もあります。

さらに、同じ動作でも機能が違うことがあります。うなずきは同意を表すこともあれば、単に「聞こえている」「話を続けてよい」と伝えることもあります。表面的な回数だけを数えても、その人がどの程度関与しているかを正確に判断できない可能性があります。

NoXi+Jの研究では、各言語に見られる聞き手行動とバックチャネルの特徴を統計的に比較し、文化に依存する特徴と、複数言語に共通する特徴を調べました。そのうえで、それらの特徴がエンゲージメントとどのように関係するかを分析しています。

AIは複数の手がかりからエンゲージメントを予測する

研究では、音声や非言語行動から抽出した特徴を使い、会話への関与を予測するモデルを構築しています。時系列の変化を扱うLSTMを用い、五つの言語データを対象に分析しました。

また、予測結果だけを見るのではなく、SHAPを使って、どの入力特徴が判断へ強く影響したかを調べています。さらに転移学習を組み合わせ、ある言語で学習したモデルや特徴が別の言語でも役立つのかを検討しました。

この設計が示しているのは、「文化差があるから言語ごとに完全に別のモデルを作る」か、「人間の行動は共通だから一つのモデルでよい」かという二択ではありません。共通して利用できる特徴と、言語・文化ごとに調整すべき特徴を分けて考える必要があります。

マルチモーダル収録では同期が重要になる

この種のデータセット制作では、カメラとマイクを用意するだけでは不十分です。発話、うなずき、視線、表情の変化が同じ時間軸で対応していなければ、話し手の発言に対して聞き手がいつ反応したのかを分析できません。

例えば、発話終了から少し遅れてうなずいたのか、次の発話と重なりながら相づちを入れたのかでは、会話上の意味が異なります。機器ごとに時計がずれていると、この違いが失われます。

• 複数カメラとマイクの時刻を同期する
• 話者ごとの音声を分離して記録する
• 映像、音声、深度情報の欠落を監視する
• 発話区間と非言語行動を同じ基準で切り出す
• アノテーションの開始・終了時刻を統一する
• 収録後に同期ずれを検出できる確認工程を設ける

収録後に修正できるずれもありますが、基準となる信号が失われると復元できません。マルチモーダルデータでは、収録設計そのものが品質管理になります。

エンゲージメントは正解を一つに決めにくい

画像内の物体名のように、比較的明確な正解を付けられるタスクとは異なり、会話への関与は直接観察できません。視線が外れていても話を理解している人がいる一方、相手を見ていても内容へ関心を持っていない場合があります。

そのため、アノテーションでは「関与している／していない」の二値だけでなく、時間とともに変化する連続値で評価する方法があります。複数の評価者が動画を見ながら値を付け、その一致やずれを確認する設計も必要です。

評価者自身の文化的背景も判断へ影響する可能性があります。ある文化の聞き方を「反応が乏しい」と評価してしまえば、教師データに評価者側の基準が入り込みます。参加者の多様性だけでなく、アノテーターの構成や説明も記録しておく必要があります。

日本語の会話データ制作で確認したいこと

NoXi+Jは、日本語の対話AIや会話分析用データを作る際に、発話内容以外も設計対象になることを示しています。

• 相づちを独立した発話として記録するか
• 「うん」「はい」「なるほど」などの形式を分けるか
• 声を伴わないうなずきを記録するか
• 話し手の発話と重なった反応をどう表現するか
• 視線、表情、頭部動作をどの粒度で付与するか
• 丁寧さ、年齢差、関係性が行動へ与える影響をどう管理するか
• 評価者の属性と判断履歴を残すか

音声認識用のデータであれば、文字起こしが中心になります。しかし、人と自然に会話するAIを作る場合、何を言ったかだけでなく、いつ反応し、どのような聞き方をしたかも学習対象になります。

文化差を扱うには「同じ条件で集める」設計が必要

複数言語のデータを比較するとき、参加者の文化だけが違う状態を作ることは簡単ではありません。会話の話題、参加者の年齢、知識量、機器、収録場所、説明方法が異なれば、それらが結果へ影響します。

比較可能なデータセットを作るには、可能な範囲で収録条件をそろえ、変更した条件を記録します。一方で、すべてを同じ手順へ押し込むと、その言語で自然に起きる会話を損なうこともあります。

共通条件をそろえることと、各言語の自然さを残すこと。この両方を調整する必要があります。多言語データセット制作は、単なる翻訳作業ではなく、比較可能性を設計する作業です。

NoXi+Jから学べること

NoXi+Jが扱っているのは、うなずきの回数を言語別に数えることだけではありません。音声、表情、相づち、ジェスチャーを組み合わせ、人が会話へ関与している状態をAIがどこまで推測できるかを検討しています。

その際、複数言語に共通する手がかりと、文化や言語によって意味が変わる手がかりを分けています。モデルの精度だけでなく、どの特徴が予測へ影響したかを確認している点も重要です。

対話AIへ日本語の相づちを覚えさせる場合、英語データを翻訳するだけでは足りないかもしれません。実際の日本語会話を収録し、声、タイミング、うなずき、表情を同じ時間軸で記録する必要があります。

人間らしい会話を学習させるほど、必要になるデータは文章から相互作用へ広がります。NoXi+Jは、そのデータをどのように収集し、比較し、評価するかを考えるための具体的な事例です。