朝、庭に出ると地面は乾いていました。昼過ぎに窓を見ると、庭がぬれています。この二つの観察の間には、「雨が降った」「誰かが水をまいた」といった出来事が考えられます。

結果から、その原因としてもっとも説明力のある出来事を推定する考え方を仮説推論、英語ではabductive reasoningと呼びます。ARTは、この推論を短い物語の選択問題にしたデータセットです。

本記事は公開論文と公開データセットの内容を紹介するものです。株式会社イングクラウドが当該研究またはデータセットの制作へ関与したことを示すものではありません。

今回取り上げる論文とデータセット

Abductive Commonsense Reasoningは、Chandra Bhagavatula氏らがACL 2020で発表した研究です。論文ではAbductive Natural Language Inferenceという課題と、ARTデータセットが提案されています。

問題には、時間的に前の観察と後の観察、そしてその間に入り得る二つの仮説が示されます。AIは、二つの観察をより自然につなぐ仮説を選びます。

最初と最後だけを見て、途中を推定する

例えば、最初の文が「人物Aは誕生日会へ向かった」、最後の文が「人物Aは帰宅して贈り物を机に置いた」だとします。

間に入る仮説として、「友人から贈り物を受け取った」は自然です。一方、「贈り物をすべて捨てた」では、最後に机へ置いたこととつながりません。

仮説は最初の文だけ、または最後の文だけと整合すればよいわけではありません。前後の出来事、時間の流れ、人物の行動、物の状態を一緒に説明する必要があります。

因果関係は文章中に明示されていない

ARTの問題では、正解が元の文章から抜き出せるとは限りません。人が持つ日常的な知識を使って、前後をつなぐ出来事を補います。

• 物を受け取れば、その後に持って帰ることができる
• 何かをなくせば、後で探す可能性がある
• 店が閉まっていれば、別の店へ行くかもしれない
• 相手を怒らせれば、謝る理由が生まれる

このような知識は、常に成り立つ法則ではありません。それでも、二つの候補を比較すれば、どちらが物語全体をより自然に説明するかを判断できます。

あり得ない仮説にも自然な文章が必要になる

誤答が文法的に崩れていたり、登場人物の名前が違っていたりすれば、AIは因果関係を考えずに正解できます。

そのため、誤った仮説も文章としては自然で、物語の一部とは関係している必要があります。違いは、前後の二つの観察を同時には説明できないことです。

この設計は作業者にとって簡単ではありません。単なる突飛な文章ではなく、「一見ありそうだが、全体を読むと成立しない仮説」を作る必要があります。

人が作ったデータにも表面的な手掛かりが生まれる

人が正解と誤答を別々に書くと、無意識に文体の違いが生まれます。正解だけが具体的で、誤答だけに否定語が多いといった偏りです。

ARTの研究では、モデルが内容以外の特徴を利用する問題を考慮し、候補を選別するAdversarial Filteringも用いられました。既存モデルが簡単に見分ける候補を除き、より推論を必要とする問題を残します。

ただし、モデルに難しい問題が必ず良問とは限りません。人にも判断できない曖昧な問題を除くため、別の作業者による検証が必要です。

仮説推論は一つの正解へ閉じない

庭がぬれている理由は、雨だけではありません。水まき、漏水、清掃など複数の説明が成り立ちます。現実の仮説推論には、観察だけでは一つに決められない場合があります。

二択形式では「もう一方よりもっともらしい答え」を正解にできますが、それは唯一可能な原因を証明したことではありません。データを利用するときは、この違いを理解する必要があります。

実務で同様のデータを作る場合には、正解ラベルに加えて、各候補を選んだ人数、判断の確信度、別の可能性を記録する方法も考えられます。

日本語では省略された主語や時間関係も難しくなる

日本語の物語では主語や目的語が省略されることが多く、前後の文が同じ人物を指すのかという照応関係も推論対象になります。

また、「あとで」「そのまま」「せっかく」といった表現には、出来事の順序や話者の期待が含まれます。日本語の仮説推論データを作るなら、英語データの翻訳だけでなく、日本語として自然な省略や接続を含む物語を収集する価値があります。

ARTから分かるデータ制作上の教訓

• 前後の両方を説明できる仮説を作る
• 誤答も文章としては自然にする
• 複数の説明が成立しないか第三者が確認する
• モデルが文体だけで解けないか検査する
• 唯一の真実ではなく、相対的なもっともらしさを測る