床へコップを落とせば割れるかもしれない。約束に遅れれば相手が不快に感じる。贈り物を受け取ったら、お礼を伝えることが期待される。

このような知識は、日常生活では一つずつ説明されません。人は経験や周囲とのやり取りを通じて身に付け、会話や行動を理解するときに使っています。

一方、AIが文章に書かれた情報だけを処理すると、出来事の原因、次に起こりそうなこと、人物の動機、相手の感情を補えない場合があります。百科事典や辞書を大量に読ませても、日常的な行動や社会関係についての前提が十分に得られるとは限りません。

そこで、日常の出来事に対して人が原因、結果、動機、感情、社会規範を記述し、AIが学習・評価できるデータへ変える研究が行われています。本記事では、公開論文をもとに、AIへ常識を教えるデータがどのように作られるのかを紹介します。

本記事で紹介する論文・データセットは、当社が受託した個別案件や現在募集中の案件との関係を示すものではありません。同種のデータが研究でどのように利用されているかを知っていただくための一般的な例です。

AIにとっての常識は事実の一覧だけではない

一般的な知識データベースには、人物、場所、物の名称や関係が記録されています。しかし、人間が日常的に使う常識には、明示的な事実だけでなく、可能性や期待も含まれます。

これらは必ず起こる法則ではありません。「試験に合格すれば必ず喜ぶ」とは限らず、本人の期待や事情によって感情は変わります。常識データには、一般的にはもっともらしいが、例外もある関係が多く含まれます。

出来事をif–then形式でつなぐATOMIC

社会的な常識を大規模に記録した代表的な知識資源の一つがATOMICです。

ATOMICでは、ある出来事を起点にして、その前提、原因、結果、人物の意図や感情などを関係付けます。基本的には「ある出来事が起きたなら、その前後に何が考えられるか」というif–then形式です。

例えば「人物Aが人物Bへ贈り物を渡した」という出来事があれば、次のような情報を付けられます。

• 人物Aは人物Bを喜ばせたかった
• 人物Aは事前に贈り物を用意した
• 人物Bはうれしいと感じる可能性がある
• 人物Bは人物Aへお礼を言う可能性がある

このような関係は、出来事の文章から機械的に抽出できるとは限りません。作業者が場面を読み、一般的にあり得る前提や結果を文章で記述します。

Dense-ATOMIC: Towards Densely-connected ATOMIC with High Knowledge Coverage and Massive Multi-hop Pathsでは、ATOMICに含まれる出来事を正規化し、独立していた関係をさらに接続することで、複数段階の推論に利用できる知識グラフを構築しています。

一段階の関係だけなら「贈り物を渡すと相手が喜ぶ」で終わります。しかし複数の関係をつなげれば、「相手が喜び、お礼を伝え、その後の関係がよくなる」といった長い推論経路を扱える可能性があります。

AIが常識を生成し、人が妥当性を確認する

常識知識をすべて人が書くには大きな作業量が必要です。そこで、既存の知識から新しい候補をAIに生成させ、人が確認する方法も研究されています。

COMET: Commonsense Transformers for Automatic Knowledge Graph Constructionは、ATOMICやConceptNetを使って、出来事に対する新しい常識記述を生成するモデルです。

例えば、出来事と関係の種類を入力し、原因、結果、意図などの候補を自然言語で生成します。論文では、生成された知識が妥当かどうかを人が評価しています。

この方法でも人手はなくなりません。AIが作った文章は自然に見えても、元の出来事と関係がない、可能性が低い、特定の文化や価値観へ偏っている場合があります。

AIが大量の候補を作り、人が妥当性、関連性、多様性を評価する。合格した候補を知識グラフへ追加し、その結果を次のモデル改善へ使う。このHuman-in-the-loop型の工程が考えられます。

人間関係の常識を選択問題にするSocialIQA

常識を知識グラフとして作るだけでなく、AIが社会的な状況を理解できるかを質問形式で評価する方法もあります。

SocialIQA: Commonsense Reasoning about Social Interactionsは、日常的な社会状況について、人物の動機、感情、行動の結果などを問う選択式データセットです。

例えば、ある人物が相手へ近づいて秘密を話したという状況に対し、「なぜ近づいたのか」を質問し、「ほかの人に聞かれないようにするため」といった答えを選びます。

SocialIQAには37,588件の質問・回答セットが含まれています。作成にはクラウドソーシングが使われ、正解だけでなく不正解の選択肢も人が作りました。

選択式データでは、不正解の作り方も重要です。明らかに不自然な選択肢ばかりであれば、AIは常識を使わず、文章の不自然さだけで正解できます。

SocialIQAでは、不正解を作る作業者へ単に「間違った答えを書いてください」と依頼せず、関連する別の質問への正解を書いてもらう方法を採用しています。文体としては自然だが、元の質問には合わない選択肢を作るためです。

対話の原因・動機・反応を補うCICERO

常識推論は、出来事の短文だけでなく、対話の理解にも使われます。

CICERO: A Dataset for Contextualized Commonsense Inference in Dialoguesは、5,672件の二者対話について、53,105件の推論データを収録しています。

各発話について、次の内容を生成または選択する課題です。

• 発話や出来事が生じた原因
• その後に起こりそうな出来事
• 出来事が起こるための前提
• 話者がその発言をした動機
• 聞き手の感情的な反応

同じ発話でも、会話履歴が違えば原因や動機は変わります。そのため、対象発話だけでなく対話全体を提示し、人がもっともらしい推論を記述します。

このようなデータは、対話AIが直前の言葉を繰り返すだけでなく、相手の目的や状況を補いながら応答する研究に使えます。

次に起こる行動と、途中で起きた出来事を推論する

常識推論には、知識を記述するだけでなく、時間の流れの中で出来事を予測・補完する課題もあります。

SWAGは、動画をもとにした短い場面の次に起こりそうな行動を四択から選ぶデータセットです。ARTは、物語の最初と最後を読み、その間に何が起きたのかを二つの仮説から選びます。

前者は未来の予測、後者は観察結果を説明する原因の推定です。どちらも、文章表面のつながりではなく、現実の行動順序や因果関係を使わなければ解けない問題を目指しています。

常識と偏見をどう区別するか

人が「普通はこうだ」と考えている内容が、すべてAIへ教えるべき常識とは限りません。社会的な常識と、根拠のない固定観念は近接しています。

例えば、役職や場面から適切な敬語を判断することは、業務上必要な文化的知識になり得ます。一方、年齢、性別、職業などから人物の能力や性格を決めつけることは、偏見を再生産する可能性があります。

常識データを作る際には、次の点を分けて検討する必要があります。

• 状況から合理的に推定できる情報か
• 特定の属性に対する固定観念ではないか
• 文化的な慣習か、普遍的な事実か
• 現在も一般的な慣習か
• 地域、世代、立場によって答えが変わらないか
• 一つの価値観を唯一の正解としていないか

多数決で多く選ばれた回答が、倫理的または社会的に望ましい回答とは限りません。評価者の構成、判断基準、専門家による確認が重要になります。

日本の文化的常識を評価するSOBACO

常識は言語や文化によって異なります。英語圏で作られたデータを日本語へ翻訳するだけでは、日本の社会関係や慣習を十分に評価できない可能性があります。

Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Datasetでは、日本語で社会的偏見と文化的常識を評価するSOBACOが提案されています。

SOBACOは、年齢、性別、上下関係を扱い、社会的偏見を測る問題と、文化的な文脈を理解する問題を対にしています。合計11,952問があり、問題文は日本語で、日本の文化・社会的状況を対象としています。

テンプレートは研究者が作成し、その妥当性を日本語母語話者かつ日本在住の参加者がクラウドソーシングで確認しました。検証にはLancersが使用されています。

この研究が興味深いのは、偏見を抑えることと、文化的な文脈を利用することが単純には両立しない問題を扱っている点です。属性を一切考慮しないモデルにすると、日本社会の上下関係や場面に応じた行動まで理解しにくくなる可能性があります。

何を不当な決めつけとし、何を場面理解に必要な文化的知識とするか。その境界自体が、人による設計と検証を必要とします。

常識データの正解は時代や集団によって変わる

物理法則に近い常識と異なり、社会規範や文化的常識は変化します。

以前は一般的だった職場の慣習が現在は受け入れられないこともあります。同じ日本語話者でも、年代、地域、職業、生活環境によって判断は異なります。

データ作成時には、単に多数の回答を集めるだけでなく、誰が回答したかを確認する必要があります。

• 回答者の年代・地域・言語背景
• 対象となる場面についての経験
• 回答を収集した時期
• 一つの回答を選んだ割合
• 少数意見とその理由
• 判断への確信度

すべてを個人属性と結び付けて公開する必要はありませんが、どのような母集団から得た常識なのかが分からなければ、別の集団へ適用できるか判断できません。

AIに常識を教えるデータ制作の工程

常識推論データは、次のような工程で作られます。

1. 扱う常識の範囲と利用目的を決める
2. 日常の出来事、対話、社会的状況を作成・収集する
3. 原因、結果、前提、動機、感情などの関係を定義する
4. 複数の作業者が候補を記述する
5. 妥当性、自然さ、関連性を別の作業者が評価する
6. 偏見や危険な固定観念が含まれていないか確認する
7. 判断が分かれる例と回答分布を残す
8. AIが候補を生成する場合は人が検証する
9. 文化や時代の変化に合わせて更新する

文章作成、分類、検品を別の人へ割り当てることで、一人の思い込みがそのまま正解になることを避けられます。専門領域や社会的影響の大きいテーマでは、有識者による確認も必要です。

常識は、どこかに完成した正解集が存在する情報ではありません。人の経験や社会規範を、利用目的に合わせて収集し、複数人で検証し、適用範囲を明示することで、初めてAIの学習・評価データになります。