会話AIが返答内容を理解していても、話し始めるタイミングが早ければ人の発話を遮り、遅ければ不自然な沈黙になります。「うん」「なるほど」といった相づちも、内容だけでなくタイミングが重要です。

本記事は公開論文と公開データセットの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる論文

Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signalsは2025年のACLで発表されました。

210時間を超える対面会話を扱う

研究チームは、210時間を超える人同士の会話映像からMM-F2Fを構築しました。150万語を超える発話と約2,000万フレームの映像に、発話交替と相づちの情報を対応付けています。

文字だけではタイミングを学べない

発話内容に加え、声の高さや強さ、沈黙、顔や視線などを組み合わせます。文が終わっていなくても、イントネーションや視線から相手が発言権を渡そうとしている場合があります。

自動処理を組み合わせて大規模化した

大量の映像をすべて一から手作業で処理するのではなく、自動収集・注釈パイプラインを使っています。ただし、自動生成した区間や話者情報がずれると、タイミング研究全体に影響するため、同期精度と抽出条件の確認が重要です。

日本語で作る場合の論点

• 「うん」「はい」「へえ」など相づちの機能を区別する
• 発話交替と短い重なりを時間情報付きで記録する
• 音声・映像・書き起こしの時刻をそろえる
• 年代や関係性による間の違いを考慮する

データ制作の実務で参考になる点

対話データでは、何を言ったかだけでなく、いつ言ったか、誰を見ていたか、相手の発話と重なったかも学習対象になります。時間軸を維持した納品設計が必要です。