会話中に相手を見ると、発話の順番を渡す合図のように見えることがあります。しかし、相手を見る理由はそれだけではありません。説明が伝わったか確認したい、同意を求めたい、問題が起きたことを共有したい場合にも、話者は資料から顔を上げます。

2026年の研究「Gaze Behaviour & Conversation Unfolding in the HCRC Map Task Corpus」は、地図を使った共同作業対話について、ターンの始まりと終わりの視線を、発話の機能や語彙の進み方と対応付けました。視線だけから次の話者を予測する研究ではなく、会話が順調な場面と困難を含む場面で、視線がどう変わるかを調べた研究です。

本記事は公開論文と公開コーパスの紹介です。株式会社イングクラウドが当該研究やコーパス制作に関与したことを示すものではありません。

少し異なる地図を持つ二人が、会話だけで経路を再現する

HCRC Map Task Corpusは、二人一組で行う英語の共同作業対話を収めたコーパスです。一人は経路が描かれた地図を持つ指示役、もう一人は経路のない地図を持つ作業役となり、会話を通して作業役の地図へ同じ経路を描きます。互いの地図は見えません。

Linguistic Data Consortiumの公式情報によると、元のコーパスは128対話・約18時間、参加者はグラスゴー大学の成人学生64人で、女性32人・男性32人でした。各人が4会話へ参加し、友人同士／初対面、相手の顔が見える／見えない条件がそれぞれ半数になるよう設計されています。

地図には名前付きの目印がありますが、二人の地図で目印の有無や名前が一部異なります。そのため、指示が通じない、同じ名前から別の場所を想定する、確認や言い直しが必要になる場面が自然に生じます。視線を調べるうえでは、参加者が「相手の顔」と「手元の地図」という明確に異なる対象を持つことが重要です。

研究したのは「次話者予測」ではなく会話の進行と視線の関係

Gaze Behaviour & Conversation Unfolding in the HCRC Map Task Corpusは、ISA-22 @ LREC 2026で発表された研究です。分析の焦点は、ターンの開始・終了付近の視線が、発話の対話行為と、情報の新しさ・反復にどう関係するかにあります。

つまり、「相手を見たら次に相手が話す」といった単純な予測規則を評価したものではありません。論文は、視線を次話者ラベルと直接対応させるのではなく、会話上の困難、不一致、語彙の複雑さや反復と組み合わせて分析しています。

ターンの始まりと終わりに、どこを見ていたかをそろえる

視線と発話を分析するには、動画全体へ「相手をよく見る人」とラベルを付けるだけでは足りません。各発話ターンについて、開始時と終了時に地図を見ていたのか、相手へ視線を上げたのか、別の方向へ視線を外したのかを対応付ける必要があります。

研究では、時間範囲を持つ視線イベントと発話ターンを整列させ、発話に付与された対話行為、語彙エントロピー、語彙反復などを同じ分析単位へまとめています。開始と終了を分けることで、「話し始める前から相手を見ていた」のか、「説明を終えるところで初めて顔を上げた」のかを区別できます。

発話末に相手を見る行動は、困難や複雑さと結び付いた

研究で報告された中心的な傾向は、話者がターンの終わりに会話相手を見る行動が、そのターンで複雑さや困難が表現された場合に現れやすいというものです。指示が分かりにくい、地図上の目印が一致しない、確認が必要になるといった場面では、相手の反応を確かめる必要が高まります。

一方、障害や不一致のないやり取りでは、話者が地図へ視線を落としたまま進める傾向が見られました。地図を見続けることは、相手を無視しているというより、課題が順調で、地図上の作業へ注意を向け続けられる状態を表している可能性があります。

したがって、相手を見る行動を一律に「発話権を渡す合図」と解釈することはできません。同じ視線でも、発話内容と対話行為によって、順番の譲渡、理解確認、同意要求、問題の共有など複数の機能を持ち得ます。

聞き手がターン開始時に顔を上げる場合、語彙の使い方にも差があった

論文は、聞き手側がターンの始まりに相手を見る、または地図以外へ視線を向ける場合についても分析しています。その結果、こうした視線状態と、直前の発話から語彙をどのように引き継ぐかとの間に関係が報告されました。

会話では、相手が使った目印名や説明表現を再利用することで、同じ対象について話していることを確認できます。視線と語彙反復を同じ時間軸で扱うと、相手へ注意を向ける行動と、言葉を相手へ合わせる行動がどの場面で重なるかを検討できます。ただし、相関があることだけから、視線が語彙選択を引き起こしたとは言えません。

既存の音声・映像・注釈をイベント単位で再結合する

HCRC Map Task Corpusには、音声、書き起こし、対話行為など複数の注釈があります。公式ページによると、収録時には映像も撮影されましたが、参加者のプライバシー保護のため、動画は自由ダウンロードの対象になっていません。

この研究の実務的なポイントは、視線、発話、対話行為、語彙特徴を別々に集計するのではなく、時間的に重なるイベントとして結び直したことです。開始時刻と終了時刻を持つ各注釈を共通の単位へ整列させれば、「発話末に相手を見たターンだけを抽出する」「確認要求の前後で視線がどう変わるかを見る」といった再分析ができます。

視線ラベルには、計測方法と判断基準が必要になる

視線データを新たに制作する場合は、「相手を見た」の定義を先に固定する必要があります。カメラ映像を人が見て判定する粗い視線方向と、アイトラッカーで得る注視点では、記録できる粒度が異なります。眼球そのものが鮮明でない映像では、頭部方向を視線の代用にする場合もあります。

• 相手の顔、地図・資料、その他の方向をどう区切るか
• 一瞬の視線移動をイベントとして数える最短継続時間
• 発話の開始・終了と視線が何ミリ秒ずれたら同時とみなすか
• 二人が同時に相手を見た場合を相互視線として別に扱うか
• 顔や眼球が隠れた区間を「その他」と「判定不能」のどちらにするか
• 複数作業者による境界とカテゴリの一致度をどう検証するか

ELANなどの時間情報を扱えるツールで、発話、視線、相づち、身振りを別レイヤーにすることは可能です。ただし、使用ツールを決めるだけでは品質はそろいません。作業者が判断できる画角、カテゴリ定義、境界の許容差、判定不能の扱いをマニュアルへ明記する必要があります。

日本語対話では相づちを「次の発話」と数えるかを先に決める

日本語の対話へ応用する場合、「うん」「はい」「なるほど」のような短い応答を独立したターンとするか、相手の発話を継続させる相づちとするかで、発話交替の集計が変わります。重なり発話や文末を待たない相づちも多いため、単純な話者交替だけでは視線との関係を捉えにくくなります。

研究目的が次話者予測なら、誰が次に音声を出したかだけでなく、相づち、実質的な発話権の移動、同時発話、現在話者の継続を別々に定義する必要があります。そのうえで、視線に加えて、音声の高さ・強さ、文法的完結性、沈黙時間、身振りを組み合わせて評価する設計が必要です。

視線は単独の答えではなく、会話状態を示す一つの手がかり

この研究から読み取れるのは、「相手を見ると次の話者が分かる」という単純な規則ではありません。視線は、会話が難しくなった、相手の反応を確かめたい、共通の表現を作ろうとしている、といった状態を示す可能性のある手がかりです。

視線の意味は、役割、配置、課題、発話内容によって変わります。対話AIや会議分析のデータを作る場合も、視線ラベルだけを先に作るのではなく、どの会話状態を検証したいのかを決め、発話・音声・行動の注釈と同期させることが重要です。