「ジャガーについて教えて」と言われたとき、自動車について答えるべきか、動物について答えるべきかは分かりません。対話AIは、もっともありそうな意味を勝手に選ぶのではなく、「車と動物のどちらですか」と確認した方がよい場合があります。

一方、「今日の天気は」と聞かれるたびに、地域、時間帯、降水確率の要否を細かく質問するAIも使いにくいものです。確認質問の研究では、何を聞くかだけでなく、いつ聞くべきかも評価します。

本記事は公開研究を手掛かりに、確認質問データの設計を整理するものです。適切な確認範囲は、利用目的と誤りの影響によって変わります。

曖昧な検索意図を扱うClariQ

ClariQは、利用者の要求が不明確なときに、対話システムが確認質問を行う課題を扱ったデータです。

最初の要求だけで回答するか、追加情報を得るために質問するかを判断し、必要なら有用な確認質問を生成します。質問後の回答によって、本来の情報要求を絞り込みます。

確認質問には二つの評価が必要になる

文法的に自然な質問でも、すでに分かっていることを聞いたり、回答によって処理が変わらなかったりすれば役に立ちません。

誤った推定の影響で質問の必要性は変わる

好みを少し外すだけなら、一般的な設定で進めてもよい場合があります。しかし、送金先、削除対象、薬品、個人情報、安全に関わる条件は、推定せず確認すべきです。

データには、曖昧さの種類に加えて、誤解した場合の影響や、後から取り消せるかを付けると、質問すべき基準を学習・評価できます。

回答後に行動が変わるところまで一組にする

確認質問を作れるだけでは不十分です。利用者の回答を受けて、検索条件、作業計画、出力形式を正しく更新する必要があります。

1. 曖昧な要求
2. 確認が必要かという判定
3. 確認質問
4. 利用者の回答
5. 明確化された意図
6. 最終回答または実行計画

この一連を保存すれば、AIがどの段階で誤ったかを分析できます。

日本語では共有知識への依存を集める

「前と同じで」「例の資料」「いい感じに」のような表現は、過去のやり取りや職場内の共有知識を前提にしています。確認質問データには、会話履歴があれば解ける例と、その場で本人へ聞かなければ解けない例の両方が必要です。