音声案内システムが利用者の発話を誤認識しても、会話がそのまま進むことがあります。利用者が言い直したり、同じ内容を繰り返したり、苛立ちを示したりして、初めて問題が見えてきます。

SpeDialは、音声対話のどこでコミュニケーションが失敗したかを分析するためのデータです。

本記事は公開論文と公開データセットの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる論文

The SpeDial datasets: datasets for Spoken Dialogue Systems analyticsは2016年のLRECで発表されました。英語とギリシャ語の実利用者による音声対話を扱っています。

音声と書き起こしだけではない

利用者発話を人が書き起こし、誤解、怒り、満足、同じ内容の繰り返し、話者属性、タスクが成功したかなどを付けています。誤認識された単語だけでなく、利用者とシステムのやり取り全体を評価します。

誤解の判定には前後の会話が必要

一つの発話だけでは、システムが正しく理解したか分からない場合があります。SpeDialでは、対象発話の周辺ターンや会話全体を見て、システム応答に問題があったかを判断しています。

ラベルによって人の一致しやすさが違う

誤解や話者属性のように比較的観察しやすい項目では評価者が一致しやすい一方、怒りのような主観的項目では性能が低くなりました。同じ音声に付けるラベルでも、品質管理方法を一律にはできません。

日本語で作る場合の論点

• 言い直し、言いよどみ、繰り返しを省かず書き起こす
• システム認識結果と人手書き起こしを対応させる
• 誤解が起きた区間と回復した区間を分ける
• 怒り、困惑、満足など主観ラベルは複数人で評価する

データ制作の実務で参考になる点

会話の失敗は、一つの誤認識ラベルでは表せません。音声、認識結果、書き起こし、システム応答、利用者反応、最終的なタスク成否を時系列で結ぶ必要があります。