「秘密を話すために相手へ近づいた」「床へ食べ物をこぼしてしまった」。人は、その人物がなぜそうしたのか、次に何をしそうか、どのような気持ちになるかを状況から推測できます。しかし、答えが文中に直接書かれているとは限りません。

SocialIQAは、こうした人の行動や感情に関する推論を三択問題にした英語データセットです。状況を示す文、質問、三つの回答候補をどのような作業で組み立てたのかを見ていきます。

行動の理由や感情を問う三択問題

Social IQa: Commonsense Reasoning about Social Interactionsは、Maarten Sap、Hannah Rashkin、Derek Chen、Ronan Le Bras、Yejin ChoiがEMNLP-IJCNLP 2019で発表した論文です。論文名では「Social IQa」、著者の公式データ配布ページでは「SocialIQA」という表記が使われています。

論文の例では、ある人物が秘密を伝えようとして相手に身を寄せた場面から、その理由を選びます。文章に答えは明記されていません。状況と行動を結び、他人に聞かれたくないから近づいた、と推測する問題です。

質問の種類は、問題作成の出発点となった知識グラフATOMICの推論項目に由来します。論文と図3に示された分類を日本語で整理すると、行動の動機（xIntent）、事前に必要だったこと（xNeed）、本人や他者が次に望むこと（xWant・oWant）、行動の結果（xEffect・oEffect）、本人や他者の感情（xReact・oReact）、行動した人物の特徴（xAttr）などです。これは複数の項目をまとめた説明であり、データ上の正式な日本語ラベルではありません。

ATOMICの短い出来事を具体的な状況文へ変える

ATOMICには、PersonXなどの変数で人物を表した短い出来事と、その前提や結果などに関する推論項目が収録されています。SocialIQAの第1の作業では、Amazon Mechanical Turk（MTurk）で作業者にATOMICの出来事を提示し、人物へ名前を付け、文法を直し、空欄を埋めて文にしました。論文の例では、「PersonXが床に何かをこぼす」という形の出来事が、「Alexが床に食べ物をこぼした」という文になります。

次の作業では、出来事の文と、ATOMICの推論項目から自動生成した質問を提示しました。作業者は状況文をさらに具体化し、必要なら質問をより明確に書き換え、正解になり得る回答を二つ書きました。論文の脚注では、状況文は元の出来事より7～25語長くするよう求めたとあります。これは出来事の書き換えに続く別のMTurkタスクです。

誤答は直接書いたものと、質問を入れ替えたものを使う

選択式問題では、誤答だけに否定語や不自然な言い回しが集中すると、問いたい推論以外の手がかりになります。原論文はこうした回答候補の文体上の偏りを問題にし、二つの方法で誤答候補を集めました。

一つは、人が元の質問に対する誤答を直接書く方法です。状況文・質問・正解候補を作るMTurkタスクで、話題、長さ、文体は正解に似ていても、内容は誤っている回答を二つ求めました。論文ではhandwritten incorrect answers（HIA）と呼びます。

もう一つがquestion-switchingです。元の質問と同じ状況文に対して、別の、ただし近い種類のATOMIC項目から作った質問を提示し、その別の質問の正解を二つ書いてもらいました。たとえば「こぼした後、何をしたいか」の正解とは別に、「こぼす前に何が必要だったか」に正しく答えると、元の質問では誤答候補になり得ます。論文ではquestion-switching answers（QSA）と呼びます。

一問につき正解候補二つ、HIA二つ、QSA二つを集めた後、正解候補から無作為に一つ選び、正解から導かれにくい誤答候補を二つ選んで三択にしました。最終的な二つの誤答が常にQSAであるわけではありません。論文は正解と誤答の平均語数も表1で比較しています。

回答者の多数決で問題を検証する

作成した三択問題は、別の解答タスクで人に解いてもらいました。学習用の問題では各問を3人の作業者が解き、開発用と評価用ではさらに5人による二度目の検証を行っています。最終データには、人の多数決で正答が定まった問題を採用し、多数決が成立しない問題は除外しました。開発用と評価用には、文体上の手がかりで解きやすい問題を減らすため、分類器による追加の選別も行われています。

論文が示す人間の正答率は、この採用判定とは別の評価です。開発用・評価用からそれぞれ無作為に900問を取り出し、各問を新たな3人に解いてもらいました。表2で報告された正答率は開発用86.9％、評価用84.4％です。比較したモデルの中ではBERT-largeの評価用正答率が64.5％でした。これらはSocialIQAの指定された問題群と評価方法における結果です。

37,588行の公開データには何が入っているか

原論文の表1と、著者が配布する通常版v1.4のJSONLファイルで、次の行数が一致します。JSONLは一行に一問を記録する形式で、見出し行はありません。

通常版には、状況文context、質問question、三つの候補answerA・answerB・answerC、正解をA・B・Cで示すcorrectが入っています。著者の配布する評価用ファイルにもcorrectがあります。通常版にATOMICの元イベント文や推論項目の列はありません。

著者は推論項目と回答候補の出所を添えた別版も配布しています。こちらには、作問時に提示したATOMIC項目を示すpromptDimや、誤答がHIA・QSAのどちらから来たかを示す項目があります。ただし、付属READMEによればpromptDimは作業者が書き換えた最終質問の種類と一致するとは限りません。元のATOMICイベント文も配布列には含まれていません。

三択問題では、誤答の作り方と解答による検証が重要になる

SocialIQAでは、短い出来事を状況文にし、問いと正解を作り、二種類の方法で誤答候補を集めてから、人が実際に解いて選択肢を検証しました。作成者が意図した正解だけで問題の成立を決めず、多数決で答えが定まらない問題を外した点が重要です。

日本語で類似の問題を設計する場合も、行動の動機、感情、事前の条件など、何を問う問題かを先に決め、状況文・質問・選択肢がその推論を要求しているかを解答結果で確認できます。場面によって回答が割れるなら、単一の正解を付ける前に設問や選択肢を見直す、という設計上の判断につながります。