対話音声の収集では、二人で決められたテーマについて話したり、旅行代理店やコールセンターの場面を演じたりします。収録後には、誰がいつ話したか、相づちや言い直しをどう記録するかといった細かな作業もあります。

参加者や作業者から見ると単純な会話に見えますが、研究目的によって必要な収録方法とアノテーションは変わります。この記事では、公開されている論文・コーパスをもとに、対話音声がどのような研究へ使われるかを紹介します。

本記事で紹介する論文・データセットは、当社が受託した個別案件や現在募集中の案件との関係を示すものではありません。同種のデータが研究でどのように利用されているかを知っていただくための一般的な例です。

対話音声から研究できること

音声認識では実際の会話が難しい

文章を一人で読み上げる音声に比べ、自然な対話には言い直し、言いよどみ、相づち、発話の重なり、語尾の省略などが含まれます。これらは日常会話では自然ですが、音声認識や自動書き起こしには難しい条件です。

対話音声と正確な書き起こしを対応させることで、自然会話に対する音声認識の学習や評価ができます。作業者が「あの」「えーと」などを勝手に削除せず、発話に忠実に書き起こす理由もここにあります。

誰がいつ話したかを調べる

会議や対話の録音では、書き起こしだけでなく「この発話は誰のものか」が必要です。音声から話者の区切りを推定する処理は、話者ダイアライゼーションと呼ばれます。

二人の音声を一つに混ぜたファイルと、話者ごとに分けたファイルの両方を用意すると、混合音声から話者を分ける技術の評価がしやすくなります。収録時に左右チャンネルや別端末を利用するのも、正解となる話者別音声を残すためです。

会話の間と重なりにも意味がある

対話では、一人が話し終わってから次の人が話すとは限りません。相手の発話へ重ねて相づちを打つ、沈黙してから答える、途中で割り込むことがあります。

発話の開始・終了時刻を付けると、発話交替までの間、同時発話、相づちの位置などを分析できます。対話AIが早すぎず遅すぎないタイミングで応答する研究にも関係します。

タスク指向対話では達成したい目的を設定する

旅行予約、店舗案内、問い合わせ対応などでは、参加者に役割と条件を与えて会話してもらうことがあります。完全な台本を読むのではなく、目的だけを決めて自由に話すロールプレイもあります。

タスク指向対話のデータセットとして知られるMultiWOZでは、複数領域にまたがる対話を扱い、ユーザーの目的、対話状態、応答などを研究できるようにしています。テキスト中心のデータセットですが、「何を達成する会話か」を記録する重要性が分かります。

日常会話を体系的に記録する

日本語の日常会話を研究するためには、研究室で作った会話だけでなく、家庭、職場、移動中など多様な場面の会話が必要です。

国立国語研究所の日本語日常会話コーパス（CEJC）では、さまざまな場面の日常会話を収録し、音声・映像や転記などを整備しています。自然会話を研究可能な形にするには、収録だけでなく、場面情報、話者情報、発話単位の整備が必要です。

感情や対人態度を扱う

対話研究では、話した文章だけでなく、声の調子や会話の流れから感情を推定する研究もあります。単独発話の感情だけでなく、その前の相手の発言を含めて判断する点が対話データの特徴です。

感情ラベルを付ける場合、作業者の主観だけで決めないよう、ラベルの定義、判断例、複数人による評価、意見が分かれた場合の処理を決めます。

研究目的によって書き起こし方が変わる

すべての情報を付ければよいわけではありません。研究で必要な分析単位を確認し、作業量と再現性のバランスを取ります。

収録条件から先に決める

• 自由会話、課題対話、台本読みのどれか
• 初対面同士か、知人同士か
• 対面かオンラインか
• 混合音声と話者別音声を両方残すか
• 動画も収録するか
• 年代、地域、職業などの条件を設けるか
• フィラー、言い直し、重なりをどう記録するか
• 固有名詞や私生活上の情報をどう処理するか

対話音声は、単に長時間集めればよいデータではありません。研究したい現象に合わせて参加者、場面、録音方法、アノテーションを設計することで、初めて比較・評価に使えるデータになります。

小規模な日本語対話音声サンプル

株式会社イングクラウドでは、データ構成の例として、旅行代理店を題材にした日本語ロールプレイ対話と、テーマ別の日本語対話音声を公開しています。音声、話者別ファイル、ELAN形式のアノテーションがどのように構成されるかを確認できます。