人は会話中、言葉だけで発話の順番を調整しているわけではありません。相手を見る、資料へ視線を戻す、顔を上げるといった動きも、話し続けるのか、相手へ順番を渡すのかを示します。

本記事は公開論文と公開コーパスの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる研究

Gaze Behaviour & Conversation Unfolding in the HCRC Map Task Corpusは、地図を使った共同作業対話で、視線と発話内容の進行を対応付けています。

資料を見る視線と相手を見る視線

参加者は、自分の地図を見ながら経路を説明したり、相手の反応を確認したりします。研究では、発話の終わりに相手を見る行動が、複雑さや困難を含む発話と結び付きやすく、問題の少ない場面では地図を見続ける傾向が報告されています。

視線と発話は同じ時間軸へ置く

視線研究では「相手を見た」という動画全体のラベルでは足りません。いつ視線を上げ、どの発話の開始・終了と重なったかをそろえる必要があります。発話、対話行為、語彙、視線イベントを時刻で対応付けます。

視線だけで次話者を決めない

相手を見るのは、発話権を渡す合図だけとは限りません。理解を確認したい、同意を求めたい、難しさを共有したい場合もあります。声の高さ、文法的な完結、沈黙、身振りと組み合わせる必要があります。

日本語で作る場合の論点

• 顔・目・資料のどこを見たかの基準を決める
• 視線イベントと発話区間を共通の時刻で管理する
• 対面配置や画角による見え方の差を記録する
• 発話交替、相づち、同意確認などの機能を分ける
• 顔映像を含む同意と公開範囲を設定する

データ制作の実務で参考になる点

音声だけでは説明できない発話交替を、映像と組み合わせて分析する例です。ELANなどで音声・映像を同期し、話者別発話と視線を別レイヤーで管理すると、後から複数の仮説を検証できます。