「今夜、食事に行きませんか」と聞かれて、「明日は朝が早いんです」と返されたら、多くの人は断りに近いと受け取るでしょう。しかし、返答には「いいえ」も「行きません」も含まれていません。反対に、「近くに予約できそうな店があります」は、明示的な「はい」がなくても肯定に見えます。

CIRCAは、Yes・Noで答えられる質問と、Yes・Noを直接使わない英語の回答を組み合わせ、その回答を質問者がどう解釈するかを複数人で評価したデータセットです。単に「遠回しな断りを書いてください」と依頼するのではなく、場面、質問、回答、解釈を別工程で作った点に特徴があります。

本記事は公開論文と公開データセットの内容を紹介するものです。株式会社イングクラウドが当該研究やデータセット制作に関与したことを示すものではありません。

34,268組の質問と間接回答を集めた英語データセット

CIRCAは、2020年のEMNLPで発表された“I’d rather just go to bed”: Understanding Indirect Answersで公開されました。最終データには、3,431種類の質問と、それらに対する最大10件ずつの回答からなる34,268組が含まれます。

参加したクラウドワーカーは英語母語話者で、大半が米国、一部が英国とカナダの参加者でした。論文によると、それ以上の属性情報は収集されていません。したがって、年齢、性別、地域、社会的背景による解釈差を分析できるデータではありません。

最初に10種類の会話場面を研究者が設計した

研究チームは、日常会話として自然で、複雑な前提説明がなくてもYes・No質問を作りやすい10場面を用意しました。たとえば、友人の食事・週末の活動・本・音楽の好みを尋ねる、新しい隣人と会う、金曜の退勤時に同僚と話す、遠方から来た友人を迎える、久しぶりに幼なじみと会う、友人のニューヨークでの住宅購入や転職について話す、といった場面です。

場面自体はクラウドワーカーに作らせず、研究者が手作業で設計しました。必要な場面数が少なく、自然さや質問の作りやすさを同時に満たすには判断が必要だったためです。そのうえで、質問、回答、解釈を段階的に収集しました。

第1工程では100人が各場面に5問ずつ質問を作った

質問収集では、100人の作業者が、各場面についてYes・Noで答えられる質問を5問ずつ作り、合計5,000問を提出しました。作業指示では、友人・隣人・同僚との非公式な会話として自然であること、内容と文型に幅を持たせることが求められました。

場面の話題から外れた質問を除くと4,710問が残り、その84％は重複のない質問でした。一度に5問を書かせたのも設計上の工夫です。論文では、最初に思い付く質問は定型的になりやすく、後の質問ほど長く、語彙的にも多様になる傾向が確認されています。

第2工程では回答の意味を指定せず、Yes・Noだけを禁止した

次に、各場面から重複の少ない質問を原則350問ずつ選び、質問作成者とは別の作業者へ回答を依頼しました。1問につき10人が回答し、同じ質問への10回答はすべて異なる作業者が作成しています。

参加者への主な指示は、「yes」「no」「yeah」などを使わず、友人や同僚がYes、No、maybe、sometimesのどれを意味するか推測できる自然な語句または文で答えることでした。本人の本当の意見である必要はありません。

研究チームは、作業者に「否定を作る」「条件付き肯定を作る」といった目標ラベルを割り当てませんでした。先に意味を指定するとラベル分布が人為的に均一になり、現実の質問ごとの傾向を失う可能性があるためです。その結果、回答の83％はデータセット内に一度しか現れず、明確な肯定・否定だけでなく、条件付きや中間的な返答も得られました。

第3工程では「質問者がどう受け取るか」を5人が判定した

完成した質問・回答の組は、さらに別の作業者へ提示されました。評価者が判定したのは回答者本人の意図ではなく、「質問者Xは回答者Yの返答をどう解釈すると思うか」です。会話は協力的でくだけた場面だと仮定し、次の選択肢から選びました。

• Yes
• おそらくYes／ときどきYes
• 条件が満たされればYes
• No
• おそらくNo
• 中間であり、YesでもNoでもない
• 質問者がどう解釈するか分からない
• その他

評価工程の前には、8問の練習問題へ回答し、正解と説明を確認する手順が設けられました。本番では1組につき5人が評価し、平均作業時間は1組23秒でした。

細かいラベルと統合ラベルの2種類を残した

公式データでは、5人の評価結果をそのまま保存したうえで、3人以上が選んだ最多ラベルをゴールドラベルにしています。多数決が成立しない場合はNAです。

厳密な集計では、上記の細かい区分を保ちます。一方、緩和した集計では、「おそらくYes」をYesへ、「おそらくNo」をNoへ、「分からない」を中間へまとめてから多数決を取り直します。細かい区分では2,743件、全体の8.0％で多数決が成立しませんでしたが、緩和した区分では771件、2.2％まで減りました。

評価者間一致度を示すFleissのκは、細かい区分で0.61、緩和した区分で0.76でした。5人全員が一致した割合は、それぞれ49.1％と71.0％です。曖昧さを細かく残すほど合意しにくくなることが、数値にも表れています。

不適切な内容は一人でも報告すれば除外した

研究チームは各工程で予備調査を行い、結果を人手で確認しながら指示を調整しました。初期の試行では、日常会話として不自然に長い回答が見られたため、「会話をくだけたものに保つ」という指示を追加しています。

解釈評価では、不適切な内容を報告する機能も設け、5人のうち一人でも報告した質問・回答組を削除しました。さらに著者が全質問を読み、禁止語リストによる追加フィルタリングを行い、最終的に34,268組を残しました。なお、論文は各品質管理方法を比較する統制実験までは行っておらず、予備調査と抜き取り確認によって手順を決めたと説明しています。

CIRCAは話者の意図と聞き手の解釈のずれを直接記録していない

回答を作った人と意味を評価した人は分かれていますが、CIRCAは回答作成者に「どの意味を込めたか」を別途尋ねていません。したがって、評価者間の不一致は確認できますが、「話者は断ったつもりだったのに、聞き手は保留と受け取った」という意図と解釈のずれを直接分析することはできません。

また、データは実際の会話記録ではなく、架空の短い場面に対してクラウドワーカーが書いた一往復の対話です。声の調子、表情、直前までの会話、上下関係などは含まれません。10場面で学習したモデルは、未知の場面では精度が6〜10ポイント下がったと報告されており、特定の場面や言い回しへの依存にも注意が必要です。

日本語版では「大丈夫です」を一つの正解へ固定しない

日本語では、「大丈夫です」「結構です」「検討します」「また機会があれば」のように、質問や関係性によって解釈が変わる表現があります。日本語版を作る場合も、先に「遠回しな断り」を量産させるのではなく、場面とYes・No質問を設計し、意味を指定せず自然な回答を集め、別の評価者に解釈してもらう手順が参考になります。

• 職場、接客、友人、家族など、関係性の異なる場面を分ける
• 質問作成者、回答作成者、解釈評価者を分ける
• 明確な肯定・否定だけでなく、条件付き、保留、中間、判断不能を用意する
• 全評価結果と多数決ラベルの両方を残す
• 話者意図も研究する場合は、回答作成直後に別項目として収集する
• 敬語、イントネーション、前後の会話が必要なら、文字だけの一往復とは別の収録設計にする

遠回しな表現には唯一の正解を付けにくいからこそ、曖昧例を単純に捨てず、どの粒度なら人が合意できるかを記録することが重要です。