音声アシスタントが間違った答えを返すと、人は「違う」と明言するとは限りません。眉をひそめる、笑う、首をかしげる、画面や端末を見る、言い直す。返答がなければ、少し待ってから同じ呼びかけを繰り返すこともあります。

こうした反応をAIが読み取れれば、明示的に指摘される前に、自分の応答がうまくいかなかった可能性へ気づけるかもしれません。

本記事は公開論文と公開データセットの紹介です。株式会社イングクラウドが当該研究へ関与したことを示すものではありません。

今回取り上げる論文とデータセット

Look at Me When I Talk to You: A Video Dataset to Enable Voice Assistants to Recognize Errorsは、音声アシスタントへの利用者反応を、端末側から見た顔動画として記録した研究です。

21人が音声アシスタントと自由にやり取りした

研究では21人がAmazon TapのAlexaと約30分ずつ対話しました。質問例は渡されましたが、参加者は自由な質問も行えました。分析対象となる収録部分は、おおむね一人15分程度です。

カメラは音声端末から利用者を見る位置に置かれ、AIの返答が始まってから、利用者の主な反応が終わるまでを一つのクリップとして切り出しています。

正答・誤答・無反応・待機を分けた

データセットには1,238本の動画クリップがあります。

特に重要なのが、無反応と待機を分けた点です。どちらも端末は何も話していませんが、利用者から見れば「頼んだのに返事がない」と「まだ何も頼んでいない」は異なります。

反応だけからエラーを読むのは簡単ではない

研究では、音声を消し、利用者の質問も見せず、低解像度にした動画をクラウドワーカーへ提示して、正答か誤答かを判定してもらいました。その成績は偶然より少し良い程度でした。

人の反応には手がかりがありますが、顔だけで一律に判断できるとは限りません。反応の出し方には個人差があり、同じ笑いでも、満足、困惑、あきれの可能性があります。音声、発話内容、声の調子、視線、姿勢、過去のやり取りを組み合わせる必要があります。

「音声認識の誤り」だけをラベルにしていない

NOには、聞き間違いだけでなく、意図の取り違え、機能上実行できないこと、事実として間違った回答も含まれます。利用者の立場から見れば、内部原因が違っても「期待した結果が返らなかった」という反応になるためです。

一方、AIが次にどう修復するかを研究するには、音声認識、意図理解、知識、機能制約、応答生成など、内部原因を追加で分ける必要があります。

顔動画を扱うデータには慎重な管理が必要

このデータには参加者の顔と声が含まれます。研究では、収録と公開について同意を取得し、二次利用者にも研究機関の倫理審査承認を求める形でアクセスを制限しています。

顔が研究上必要なデータでは、単純な匿名化が困難です。利用目的、公開範囲、二次利用、保存期間、削除対応を収録前に決める必要があります。

日本語で作る場合の論点

• AIの返答と利用者反応の開始・終了時刻を同期する
• 正答・誤答・無反応・待機を分ける
• 誤りの内部原因と利用者が感じた失敗を別ラベルにする
• 顔、視線、姿勢、発話、声の調子をどこまで収録するか決める
• 無表情や沈黙を、反応なしと安易に決めない
• 顔・声を含むデータの同意とアクセス条件を設計する

データ制作の実務で参考になる点

AIの品質を、正解データとの一致だけで測るのではなく、利用者が実際にどう反応したかから捉える設計です。サービス運用では、利用者が明示的な低評価を押さなくても、言い直し、沈黙、視線、離脱などが失敗の手がかりになります。

ただし、反応から原因まで自動的に決めることはできません。利用者反応、AIの入出力、システムログ、人による原因判定を対応付けることで、修復に使えるデータになります。