音声案内システムが利用者の言葉を誤認識しても、会話はそのまま進むことがあります。利用者が同じ内容を繰り返す、言い換える、「違う」と否定する、声を荒らげるといった反応が現れて、初めて問題に気付く場合もあります。

SpeDialは、音声対話システムのどこでコミュニケーション上の問題が起きたかを分析するために公開されたデータ資源です。英語のバス時刻案内システムと、ギリシャ語の映画案内・予約システムという二つの実サービスを対象に、利用者音声、書き起こし、誤解、怒り、満足、繰り返し、性別、タスク成否などを対応付けています。

SpeDialの「誤解」は、利用者本人が「通じなかった」と回答した記録ではありません。前後の対話とシステム内部情報を見た評価者が、システム応答に問題があるかを判定したラベルです。また、性別は音声から評価者が推定した二値的な区分であり、本人の自己認識ではありません。

参加者を募集した実験ではなく、実サービスの通話を使った

一つ目のLet’s Go 2014は、米国ピッツバーグの公共バスについて出発地、目的地、時刻などを尋ねる英語の電話音声対話システムです。2014年前半に実利用者が行った通話から105対話を無作為に選び、時刻案内に最低限必要と考えられた4ターン未満の対話を除外しました。最終データは85対話、利用者の有効発話1,449件で、1対話あたり平均17.1ターンです。

二つ目のMovie Ticketingは、映画情報の照会やチケット予約を行うギリシャ語のコールセンター型サービスです。200対話を収録し、利用者の性別、通話の成功・失敗、感情的内容の三要因がおおむね偏らないよう選びました。

利用者は研究者と会話したのではなく、自動音声システムへ実際の用件を伝えています。論文には、利用者の募集方法、年齢、母語、音声収録への同意手続、報酬は記載されていません。「実利用者」であることは自然さにつながる一方、参加者条件を統制した実験データとは異なります。

二つのデータで、会話の目的も提示方法も異なる

Let’s Goでは、システムが「どこから乗りますか」と尋ね、利用者が地名を答え、システムが認識結果を確認するといったスロット入力型の対話が進みます。音声認識結果、認識信頼度、意味解析結果、システム発話、対話行為などのログも利用できます。人手書き起こしと自動認識結果を比較することで、単語誤り率や概念誤り率も計算できます。

Movie Ticketingでは、映画名、上映時刻、予約などを扱います。元データには利用者側とシステム側の音声しかなかったため、利用者発話だけでなくシステム音声も人手で書き起こしました。二つのデータは言語だけでなく、サービス、ログの種類、アノテーション尺度も同一ではありません。多言語の同一条件比較用コーパスというより、異なる実システムの分析資源を共通形式へまとめたものです。

誤解は「認識単語の正誤」ではなく、応答の適切さで判定した

Let’s Goの誤解判定では、評価者にシステム2ターンと利用者2ターンからなる4ターンの断片を提示しました。対象となるシステム応答が直前の流れに対して適切かを判断できるよう、音声、人手書き起こし、音声認識結果、利用可能な場合は意味解析結果も見せています。

ラベルは、問題なし、問題あり、限られた文脈では判断できない／部分的に問題がある、という三つの状態を扱います。4ターンに限定したのは、当初利用したクラウドソーシング画面で提示枠を固定する必要があり、かつ計算量を抑えながら応答の適切さを判定できる最小範囲と考えられたためです。

Movie Ticketingの評価者は4ターン断片ではなく、会話全体を確認しました。同じ「誤解」ラベルでも、評価時に利用できる文脈量が異なります。また、誤解の原因は音声認識だけとは限りません。認識は合っていても意味解析や対話管理が誤れば不適切な応答になり、認識に誤りがあっても結果的に用件が進む場合があります。

利用者の反応と会話全体の結果も別々に付けた

各発話や対話には、問題発生を示す可能性のある複数の情報が付与されました。

• 怒り：Let’s Goでは怒りあり／なし、Movie Ticketingでは非常に怒っている状態から友好的までの5段階。叫び声や侮辱的表現が主な手掛かりとされました。
• 満足：Let’s Goでは満足／不満、Movie Ticketingでは非常に不満から非常に満足までの5段階。
• 繰り返し：Let’s Goでは完全反復、部分反復、一部内容の反復、反復なしを区別し、Movie Ticketingでは反復あり／なし。
• タスク成功：会話全体を聞き、利用者の目的にシステムが正しく答えたかを成功／失敗で判定。
• 性別：評価者が音声を聞き、確信した時点で会話全体へ男性／女性のラベルを付与。

怒りと満足は同じではありません。怒鳴っていなくても、何度も言い直して静かに不満を示す利用者がいるため、研究では別項目にしています。ただし、いずれも利用者本人へのアンケートではなく、第三者が音声と対話から推定した状態です。

一部を重複評価し、ラベルごとの一致率を測った

Let’s Goは2人の専門評価者が担当し、1人が全件、もう1人が10％を重複評価しました。Cohenのκ係数は、誤解0.79、怒り0.38、タスク成否1.0、性別1.0です。誤解では実質的な一致が得られた一方、怒りは一致しにくい項目でした。人手のタスク成否とシステムが推定した成否の一致はκ＝0.44でした。

Movie Ticketingは、もともと1人の専門評価者が全体を付与しました。その後、怒りについて追加の2人が元データから選んだ60対話を評価し、3人の一致率は58％、平均ペア比較によるκ係数は0.4でした。全ラベルを3人で多数決したわけではありません。

この結果は、検品方法をラベルごとに変える必要を示します。タスク成否のように確認対象が明確な項目と、怒り・満足のように声量、語彙、文化的な表出の読み取りを含む項目では、必要な評価人数、ガイドライン、保留ラベルが異なります。

実サービス由来だからこそ残る限界

第一に、Let’s Goは85対話、Movie Ticketingは200対話と小規模です。対象も2014年前後の電話音声システム、公共交通案内、映画案内・予約に限られ、現在のスマートスピーカーや生成AIとの自由対話へそのまま一般化できません。短い無音発話も多く、Let’s Goでは約12％のターンに有用な音声がないと報告されています。

第二に、二つの言語で同じ会話を収録した対訳データではありません。英語とギリシャ語でサービスも選定条件も尺度も違うため、言語差とシステム差を切り分けにくい構成です。怒りや満足の分布も不均衡で、Let’s Goの怒り発話は約5％にすぎません。

第三に、4ターン断片は局所的な失敗を見つけやすい一方、会話冒頭の目的や以前の訂正が省かれれば判断不能になります。逆に会話全体を見た評価は正確になりやすくても、後から分かった結果を使って過去の発話を評価する影響が生じます。どの範囲を評価者へ見せたかは、ラベルの意味の一部です。

また、論文に記載された配布方法はデータ管理者への連絡でした。現在は公開リポジトリでLet’s Go 2014の圧縮データ、SPDXml、スキーマ、読込コードを確認できますが、ギリシャ語Movie Ticketingの同等ファイルは同リポジトリに含まれていません。利用前に、入手可能な範囲、ライセンス、音声の利用条件を確認する必要があります。

失敗した発話ではなく、失敗から回復する流れを残す

日本語の音声対話データを作る場合も、認識誤りだけを切り出すのでは不十分です。利用者音声、人手書き起こし、自動認識結果、意味解析、システム応答、言い直し・反復、感情、最終的な成否を時系列で結び、問題が起きた時点と修復できた時点を分ける必要があります。言いよどみやフィラーを整文で消すと、困惑や修復の手掛かりまで失われます。

株式会社イングクラウドでも、対話音声の収録、発話区間と話者の付与、ELAN等を用いた書き起こし、自動認識結果との照合、誤解・反復・感情・タスク成否の複数人評価まで設計します。システムが間違えた場所だけでなく、利用者がどう伝え直し、会話が回復したかを残すことが改善につながります。