「秘密を話すために相手へ近づいた」「床へ食べ物をこぼしてしまった」。人間なら、その人がなぜそうしたのか、次に何をしそうか、どのような気持ちになるかをある程度想像できます。

しかし、その答えは文章に直接書かれているとは限りません。状況から人の動機や感情を推測するには、日常生活で身につけた社会的な常識が必要です。

今回紹介するSocialIQAは、このような社会的常識を三択問題にした英語データセットです。問題文だけでなく、正解と誤答をどのように人手で作ったのかに注目して読み解きます。

本記事は公開論文と公開データセットの内容を紹介するものです。株式会社イングクラウドが当該研究またはデータセットの制作へ関与したことを示すものではありません。

今回取り上げる論文とデータセット

Social IQa: Commonsense Reasoning about Social Interactionsは、Maarten Sap氏らが2019年のEMNLP-IJCNLPで発表した論文です。

SocialIQAには、社会的な状況を説明する文、その状況について尋ねる質問、三つの選択肢が収録されています。問われるのは、登場人物の動機、感情、行動の結果、次に望むこと、事前に必要だったことなどです。

SocialIQAではどのような質問に答えるのか

論文では、秘密を伝えたい人物が相手へ身を寄せた状況を例にしています。質問は「なぜそのようにしたのか」で、答えは「ほかの人に聞かれないようにするため」といった内容です。

文章中に答えがそのまま書かれているわけではありません。秘密は周囲に聞かれないように話すものだという社会的な知識を使って推論します。

SocialIQAで扱う主な推論は次のようなものです。

• 人物がその行動をした動機
• 行動の前に必要だったこと
• 次に何をしたいと考えるか
• 行動によって本人や他者に何が起きるか
• 本人や周囲の人がどう感じるか
• 行動した人物をどのように表現できるか

ATOMICの出来事を日常的な場面へ書き換えた

問題作成の出発点には、社会的な出来事と、その原因・結果・感情などを記録した知識グラフATOMICが使われました。

ATOMICには、「PersonXが床に何かをこぼす」のように、人物を変数で表した短い出来事が含まれています。SocialIQAの制作では、作業者が人物へ名前を付け、文法を整え、具体的な状況文へ書き換えました。

次の工程では、別の作業者が状況を少し詳しくし、その状況についての質問と、正解になり得る回答を作成しました。論文によると、これらの工程はAmazon Mechanical Turkを使って実施されています。

37,588件の三択問題を三段階で作った

SocialIQAには、合計37,588件の質問応答データが収録されています。一つの問題には三つの選択肢があります。

制作工程は、大きく分けて次の三段階です。

1. ATOMICの出来事を自然な状況文へ書き換える
2. 状況、質問、正解候補を作る
3. 不正解の選択肢を作り、別の作業者が問題を検証する

短い三択問題でも、一人が最初から最後まで作ったわけではありません。素材の変換、問題作成、誤答作成、妥当性確認を分けています。

もっともらしい誤答をどう作るか

選択式データでは、正解を作るだけでは足りません。明らかに不自然な誤答を混ぜると、AIは社会的常識を推論せず、文章の長さや否定表現などの表面的な特徴から正解を選べる可能性があります。

SocialIQAでは、この問題を減らすためにquestion-switchingという方法を使っています。

作業者にわざと間違った答えを書かせるのではなく、同じ状況について別の種類の質問を提示し、その質問に対する正しい答えを書いてもらいます。その答えを、元の質問では不正解になる選択肢として利用します。

例えば、「この後どうするか」という質問に対する正しい答えと、「その前に何が必要だったか」という別の質問に対する正しい答えは、どちらも自然な文章です。しかし、質問を入れ替えれば後者はもっともらしい誤答になります。

不正解データも雑に作らず、モデルが本当に目的の能力を使わなければ解けない問題にする必要があります。

最後に別の作業者が問題を解いて確認した

学習用データの検証では、一つの問題を3人の作業者に解いてもらい、正しい選択肢を確認しています。

問題文の作成者にとっては正解が明らかでも、別の人には複数の選択肢が正しく見える場合があります。反対に、どの選択肢も自然に見えないこともあります。実際に第三者へ解いてもらうことで、問題として成立しているかを確認できます。

正解ラベルを作る工程と、その問題を評価する工程を分ける考え方は、AI評価データやアンケート設計にも応用できます。

日本語版を作るときは文化差もデータになる

人の動機や自然な行動は、地域、世代、職場、家庭、立場によって変わります。英語圏の作業者が自然だと判断した回答が、そのまま日本語話者にも当てはまるとは限りません。

日本語で同様のデータを作るなら、状況文を直訳するだけでなく、日本で起こり得る場面を日本語話者から集める方法が考えられます。

• 職場、学校、家庭、接客など場面を分ける
• 登場人物の年齢や関係性を記録する
• 回答者の年代や地域による違いを確認する
• 正解が一つに決まらない問題を除外または別に扱う
• 多数派の回答だけでなく、意見が割れた理由を残す

社会的常識を一つの固定した正解として扱うと、特定の文化や属性の価値観を一般化する危険もあります。誰が回答したのか、どの程度一致したのかを記録することが重要です。

データ制作の実務で参考になる点

SocialIQAは、質問応答データを作る仕事が、単なる文章作成ではないことを示しています。

• 既存の知識を、そのまま使わず自然な場面へ変換する
• 状況文、質問、回答を別工程として設計する
• 誤答にも自然さと妥当性が必要になる
• 作成者とは別の人が、実際に問題を解いて検証する
• 表面的な手がかりだけで解けないか確認する
• 文化や属性によって正解が変わる可能性を考慮する

AIに学ばせたい能力を先に決め、その能力を使わなければ解けない問題を作る。データ件数を増やす前に、この構造を設計する必要があります。