「人物Aが人物Bへ謝った」という一文を読めば、人はその前に何らかの問題があり、人物Aは関係を修復したいのかもしれないと想像します。人物Bが安心したり、人物Aを許したりする可能性も考えられます。
しかし、元の一文には原因も目的も感情も書かれていません。人間が自然に補っているこのような知識を、AIが扱える形へ整理したものがATOMICです。
本記事は公開論文と公開データセットの内容を紹介するものです。株式会社イングクラウドが当該研究またはデータセットの制作へ関与したことを示すものではありません。
今回取り上げる論文とデータセット
ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoningは、Maarten Sap氏らがAAAI 2019で発表した研究です。
ATOMICは、日常的な出来事と、その前後に想定される原因・結果・動機・感情などを結び付けた英語の常識知識グラフです。論文では約87万件のif–then関係が収録されています。
出来事の前後にある暗黙の情報を記録する
ATOMICでは、出来事を「PersonXが試験に合格する」「PersonXがPersonYへ贈り物を渡す」のような短い文で表します。その出来事に対して、人が次の情報を補います。
| 関係 | 記録する内容 |
|---|---|
| xIntent | PersonXがその行動をした意図 |
| xNeed | 行動の前にPersonXに必要だったこと |
| xEffect | その後PersonXに起こること |
| xReact | その後PersonXが感じること |
| xWant | その後PersonXがしたいこと |
| oEffect・oReact・oWant | 周囲の人に起こること、感情、次の欲求 |
出来事を単独の事実として保存するのではなく、その前後にある人間らしい推論を関係ごとに分けている点が特徴です。
一つの出来事に正解は一つとは限らない
人物が謝った理由は、相手を傷つけたからかもしれませんし、約束に遅れたからかもしれません。謝った後に許される場合もあれば、関係が悪化したままのこともあります。
この種の常識は物理法則ではありません。ATOMICでは、クラウドワーカーが出来事ごとに複数の可能な推論を書き、別の作業者がその妥当性を確認しました。
重要なのは、唯一の出来事を当てることではなく、一般的にあり得る推論を複数集めることです。常識データを作る際には、「起こり得る」と「必ず起こる」を区別する必要があります。
原因と結果を別々の種類として収集する理由
自由に「この出来事から連想すること」を書いてもらうだけでは、回答が原因、感情、次の行動のどれを表すのか分からなくなります。
ATOMICは、意図、前提、結果、反応、欲求という関係を先に定義しています。作業者は指定された観点だけを回答するため、生成された短文を同じ種類の知識として比較できます。
これは実務上も重要です。人手で文章を集めるときは、自由記述欄を一つ置くより、「なぜ」「その前に何が必要か」「本人はどう感じるか」「周囲はどう反応するか」を分けた方が、再利用しやすいデータになります。
人物をPersonXとPersonYで表す
ATOMICの出来事では、具体的な名前の代わりにPersonXやPersonYが使われます。人物名や性別に引っ張られず、出来事の構造を記録しやすくするためです。
ただし、人物を抽象化しても偏りが消えるわけではありません。作業者が想定する家族、職場、友人関係や、自然だと考える反応には文化的背景が表れます。
英語圏で集めた常識を日本語へ移す場合は、翻訳だけでなく、日本の生活場面で本当に自然かを日本語話者が確認する必要があります。
ATOMICから質問応答データを作る
ATOMICの知識は、後にSocialIQAの問題作成にも使われました。出来事を自然な状況文へ書き換え、「なぜそうしたのか」「次に何が起こるか」「本人はどう感じるか」といった三択問題へ変換しています。
知識グラフを作る工程と、それを使ってAIを評価する工程は別です。まず人が暗黙知を記述し、次にその知識を使わなければ解けない問題へ加工します。
日本語の常識知識を作るなら回答者の背景も重要になる
人の行動について自然だと感じる原因や結果は、年代、地域、職業、家族構成などによって変わります。日本語版の常識データを作るなら、回答そのものだけでなく、回答者の属性や一致率も設計対象になります。
- 複数人が同じ推論を自然だと判断したか
- 回答が特定の年代や地域へ偏っていないか
- 固定観念を一般的な常識として採用していないか
- 時代によって変わる慣習ではないか
- 少数意見を不正解として捨ててよいか
AIへ常識を教える作業は、社会の唯一の正解を決める作業ではありません。誰にとって、どの場面で、どの程度もっともらしい知識なのかを記録する作業です。
RESEARCH DATASET NOTE
常識推論・因果関係データの設計からご相談いただけます
株式会社イングクラウドでは、日常場面の作成、原因・結果・動機・感情の記述、複数人による妥当性評価、回答者属性の管理まで、研究目的に合わせたデータ制作工程を整理します。
