人間同士の会話でも、誤解は頻繁に起こります。聞き間違い、言葉の意味の取り違え、前提の違い、曖昧な指示。重要なのは、誤解が一度も起きないことではなく、問題へ気づき、確認し、会話を修復できることです。

AIに誤解を学ばせるには、間違った一文だけでなく、誤解が生まれ、表面化し、解消されるまでの流れを残す必要があります。

誤解には複数の原因がある

• 音声を別の単語として認識した
• 代名詞が誰を指すか取り違えた
• 言外の意図を文字どおりに受け取った
• 話者間で前提知識が違った
• 質問に必要な条件が省略されていた
• 冗談や皮肉を事実として受け取った

誤解は次の発話で明らかになる

対象発話だけを見ても、誤解されたか分からないことがあります。相手の不自然な回答、聞き返し、言い直し、同じ説明の繰り返しによって問題が見えてきます。

SpeDialは会話の失敗を時系列で記録した

SpeDialは、実利用者による音声対話へ、誤解、怒り、満足、繰り返し、タスク成功などの情報を付けています。音声認識の正誤だけでなく、その後の利用者反応と結果まで扱います。

修復方法もラベルにする

人間同士の誤解データは集めにくい

自然な誤解は頻度が低く、録音されるとは限りません。意図的に曖昧な地図説明や共同作業を設定し、参加者が確認しながら課題を解く方法があります。一方、作られた課題と日常会話では誤解の性質が異なります。

評価者にも会話全体を見せる

一文だけで「誤解」と判断させず、前後の会話、音声、タスクの正解、最終結果を提示します。誤解の発生箇所、発覚箇所、修復箇所を別々に記録すると、AIがどの段階を苦手としているか評価できます。

誤解を含むデータは対話AIの安全性にも関わる

予約、医療、金融、作業指示などでは、誤解したまま処理を進める影響が大きくなります。自信がないときに確認し、誤解が判明したら以前の処理を訂正できるかまで評価する必要があります。