音声アシスタントが間違った答えを返しても、人は必ず「違います」と言うわけではありません。眉をひそめる、笑う、視線をそらす、黙る、質問を言い直す。返答自体がなければ、端末を見ながら待ったり、同じ呼びかけを繰り返したりします。

こうした利用者の反応をAIが読み取れれば、明示的に指摘される前に、自分の応答が失敗した可能性へ気づけるかもしれません。では、その学習用データはどのように収録し、正答・誤答を誰が判断したのでしょうか。

本記事は公開論文の内容を紹介するものです。株式会社イングクラウドが当該研究やデータセットの作成に参加したものではありません。顔と声を含むデータの利用には、論文記載のアクセス条件と所属機関の倫理審査を確認する必要があります。

21人とAlexaのやり取りを1,238本の動画に分けた

「Look at Me When I Talk to You: A Video Dataset to Enable Voice Assistants to Recognize Errors」は、Amazon Tapに搭載されたAlexaと人がやり取りする様子を、音声端末側から利用者を見る位置のカメラで記録した研究です。最終データには21人の反応を切り出したカラー・音声付き動画1,238本が含まれます。

これは家庭内で自然に蓄積された利用ログではありません。参加者を研究室へ呼び、Alexaへ自由形式で質問してもらった誘発データです。元動画の解像度は少なくとも1,352×760ピクセルで、クリップの長さは数秒から数分まで幅があります。

参加者には例を示し、質問内容は自由にした

参加者はAlexaと約30分間やり取りしました。研究者は、正しい答えまたは誤った答えが返りうる簡単な質問をするよう促し、質問例も渡しましたが、実際には好きな内容を尋ねてよいと説明しました。説明や練習を除いた実収録部分は、通常1人約15分でした。各参加者への謝礼は5ドル分のギフトカードです。

21人のうち、女性と自己申告した人が14人、男性が7人でした。18人は20代前半の大学生で、残る3人はそれより年長の成人です。米国出身者は11人、米国外の出身者は10人でした。募集方法、具体的な年齢、母語、人種・民族などは公開論文では確認できません。

参加者は、音声と映像で記録され、学術発表や公開プレゼンテーションに使われ、オープンな動画データセットの一部として公開されることを説明した同意書へ署名しました。顔は研究目的上必要なため残されていますが、それ以外の情報は匿名化したと論文は説明しています。

AIの応答開始から利用者の主反応終了までを切り出す

収録後、研究者が映像を手作業でクリップへ分割し、ラベルを付けました。基本的な開始点はAlexaが話し始めた時点、終了点は利用者の主な反応が終わった時点です。多くの場合、次の依頼を始めるため参加者が再び「Alexa」と呼びかけるところまでを一つのクリップにしています。

クリップ名には反応ラベル、収録場所、参加者番号、クリップ番号が入り、保存ディレクトリには収録日も含まれます。ただし、表情、視線、頭部動作、発話内容などへ個別の行動ラベルを付けたデータではありません。中心となる正解は、Alexa側の結果を示す次の4分類です。

無反応と待機を分けるためIDLEを追加した

研究者は当初、YESとNOだけを比較する予定でした。しかしAlexaが参加者の依頼自体を認識せず、何も返さない例が多かったため、OMITを追加しました。さらに、OMIT時の反応を「そもそも依頼していない平常時」と比べるため、ほぼ同数のIDLEクリップを別に作りました。

利用者から見れば、誤答も無反応も「期待した結果が得られない」出来事です。しかしシステム側では、NOは自分が何か答えた後の失敗、OMITは依頼があったこと自体に気づいていない失敗です。必要な検出方法と修復処理が異なるため、両者を分けています。

NOは音声認識ミスだけを意味しない

NOには、聞き間違いだけでなく、意図の取り違え、機能上実行できない依頼、事実として誤った回答がまとめて入ります。一つの応答に正しい部分と誤った部分が共存する場合もありました。論文では、ドイツの天気を正しい場所について答えた後、利用者が期待した摂氏ではなく華氏で伝えた例が紹介されています。

研究者自身も、YES・NO・OMITの区別には予想以上の主観性があったと述べています。切り出しと分類は研究者が手作業で行いましたが、独立した複数人による再判定、評価者間一致度、難しい例の裁定手順は公開論文に報告されていません。原因別の修復を研究するなら、音声認識、意図理解、知識、機能制約、応答表現を別ラベルにする必要があります。

無音・低解像度の顔動画を第三者が判定した

データに利用者の反応だけで判別できる手がかりがあるか確かめるため、研究者はAmazon Mechanical Turkで追加評価を行いました。評価用動画は音声と利用者の質問部分を除き、640×360ピクセル、最長12秒へ縮小しました。評価者は米国在住で、過去のHIT承認率が95％を超える人に限定されました。

YES対NOの課題では、最初に音声付きの例と、実際の課題と同じ無音の反応動画を見せました。その後、「この人は望んだ結果を得たか」を23本について二択で答えます。170人が参加し、2本の練習問題を両方正解した125人だけを残した結果、2,875件の判断が分析されました。所要時間は約12分、報酬は1.80ドルでした。

IDLE対OMITも同様で、「この人は当初Alexaの返答を待っていたか」を12本について評価しました。57人中、練習2問を正解した38人を採用し、456件を分析しました。所要時間は約6分、報酬は0.90ドルです。

顔だけの判定は偶然をわずかに上回る程度だった

第三者による判定は、YES対NOで偶然水準を2.5ポイント、IDLE対OMITで3.9ポイント上回る程度でした。少なくとも明瞭な表情だけで簡単に正解できる課題ではありません。論文も、顔反応だけによるエラー認識は人間にとっても難しく、結果は追加検証を要する傾向だと位置付けています。

この評価では、練習問題に失敗した人を除外していますが、練習は二択を2問だけなので、内容を理解していなくても偶然通過する可能性があります。また、同一クリップに何人が回答したか、クリップ単位の一致度、参加者本人をまたいだ分割方法は明記されていません。クラウド評価はデータ中の信号を確かめる試行であり、動画ラベルそのものを複数人で確定する工程ではありません。

21人の研究室データを一般利用者へ広げられるか

参加者数は21人で、18人が20代前半の大学生です。表情や沈黙の出し方は個人差や文化差が大きく、この構成から高齢者、子ども、障害のある利用者、家庭内のながら利用まで一般化することはできません。カメラを向けられ、研究室で質問する状況も、生活空間での自然な利用とは異なります。

さらに、ラベルは利用者の感情ではなくAlexaの成否です。NOの動画に映る笑顔が困惑なのか面白さなのかは記録されていません。顔だけでなく、発話、声の高さや間、視線、姿勢、Alexaの入出力、システムログを同期しなければ、反応の理由や修復方法までは判断できません。

顔と声を含むため、配布条件にも制約がある

論文は、データを所属機関のデジタルリポジトリで提供し、二次分析について所属機関のIRB承認を得て、予定された研究目的だけに使う人へ無償アクセスを認める方針を記載しています。ただし、論文からたどれる現在の公式配布ページは確認できませんでした。「オープンソース」と説明されていても、誰でも無条件にダウンロードして任意用途へ使えるデータとは扱わない方が安全です。

日本語で同様のデータを作る場合も、顔と声を公開する範囲、機械学習利用、二次提供、保存期間、撤回後の扱いを同意時に具体化する必要があります。表情を残す必要性と、顔を識別可能なまま配布するリスクを、研究目的に照らして個別に審査する設計が欠かせません。

「利用者の反応」と「失敗原因」を分けて記録する

実務上参考になるのは、AIの正解率だけでなく、その直後に利用者が示した反応を時間同期して残す考え方です。同様のデータを作る場合は、AIの応答開始・終了、利用者の表情・視線・発話・言い直し、次の操作を別レイヤーにし、システム側の失敗原因も対応付けると、エラー検出から修復方法の選択まで分析できます。

一方、無表情や沈黙を「不満」、笑いを「誤答への反応」と自動的に決めるべきではありません。映像上の行動、本人が申告した受け取り方、第三者の解釈、ログから確認したシステム状態を分けて収集すれば、どの情報から何を推定したのかを後から検証できます。