会話では、話し手が理由をすべて言葉にするとは限りません。「今日はマクドナルドにしよう」という発言だけを見ても、空腹なのか、時間がないのか、安く済ませたいのかは決められません。前後の発言と日常的な常識を合わせて、初めてもっともらしい理由を考えられます。

CICERO（Contextualized Commonsense Inference in Dialogues）は、このような会話中の「言葉になっていない事情」を推論するための英語データセットです。ACL 2022の原論文は、2人の会話5,672件に対し、発言の原因、次に起こる出来事、前提、話し手の動機、聞き手の感情反応という5種類、計53,105件の推論を収録したと報告しています。本稿で扱うのは、公式リポジトリのCICERO-v1です。

新しい会話を収録せず、既存の3データセットを再利用

CICEROの参加者は、自由に会話するよう依頼されたわけではありません。研究チームは既存の英語対話データセット、日常会話のDailyDialog、複数ターン推論問題のMuTual、英語試験由来の読解問題DREAMから2者対話を取り出し、その会話を読んだアノテーターに推論文を書いてもらいました。したがって、CICEROは「会話を集めたデータ」ではなく、「既存会話へ常識推論を追加したデータ」です。

素材となる会話はそのまま全件使われたわけではありません。5発話未満、または1発話あたりの平均語数が6語未満の短い会話を除き、反対に15発話超、または全体で275語超の長い会話も除外しました。さらに、微調整したRoBERTaで会話の文埋め込みを作り、コサイン類似度が0.87以上の近似重複を取り除いています。出典ごとの文体差は残る一方、極端な長短や重複を抑え、作業者が文脈を追える範囲にそろえた設計です。

どの発言について推論させるかも自動で絞り込む

各会話の全発話へ同じ質問を付けるのではなく、推論しがいのある対象発話を選びます。会話を時系列の2〜3区間にほぼ均等分割し、Sentence-BERTを使った文ランキングから各区間の上位発話を選択しました。さらに、長い発話、一人称の短縮形または展開形を含む発話、最後の発話を優先候補に加えています。会話の長さに応じ、対象数はおおむね2〜7発話です。

この選び方により、会話の冒頭・中盤・終盤を一定程度カバーできます。ただし、長い発話、自分について語る発話、会話末尾が多くなる選択バイアスも生じます。CICEROは、会話中の全発話を均等に標本化したデータではありません。

アノテーターは全文脈を読み、1文の答えを書く

作業画面では会話全文、強調表示された対象発話、次のうち1種類の質問が提示されました。

1. 原因：その発言を直接引き起こした、または引き起こし得る出来事は何か。
2. 次の出来事：その発言の後に起こる、または発言をきっかけに起こり得ることは何か。
3. 前提：その発言より前に満たされている必要がある状態、出来事、仮定は何か。直接の原因とは区別する。
4. 動機：その発言を促した感情、基本的欲求、必要性は何か。該当しなければ「Not Applicable」も認める。
5. 聞き手の感情反応：対象発話に対して聞き手が抱き得る感情や反応は何か。

回答は、文法的で簡潔な1文にします。答えが会話内に明示または暗示されていれば、その内容を自立した文へ言い換えます。書かれていなければ、一般常識や世界知識を使って推測して構いませんが、会話と矛盾してはいけません。対象発話の単なる言い換え、誰にでも当てはまる自明な答え、別種類の質問と同じ答えは避け、複数の内容を含む発話では最重要部分に絞るよう指示されました。言い換え以外の答えを作れない質問はスキップできます。

質問は対象発話の位置や性質に応じて割り当てられました。一般の対象発話には「次の出来事」を80％、「原因と前提の両方」を60％、「原因のみ」を28％、「前提のみ」を12％の割合で付けています。一人称表現などを含む候補には動機、会話の最終発話には聞き手の感情反応を必ず尋ねました。全種類が同じ条件で均等に集められたわけではない点は、分析時に注意が必要です。

採用前テストと複数人検品で品質を管理

研究者はまず、無作為に選んだ50会話について全質問を自ら付与し、採用試験用の基準を作りました。候補アノテーターの回答を評価し、95％が承認された人だけを本作業へ進めています。作業中も回答を確認し、フィードバックと修正依頼を行いました。

収集後は別の3人が標本を検査し、回答が受容可能かを判定しました。多数決で承認された回答は86％で、多数の同意が得られない標本は削除されています。ただし原論文と公式配布ページからは、アノテーターの総人数、募集媒体、居住地や母語などの属性、報酬額を確認できません。95％という採用基準は厳格でも、誰の常識や文化的前提が反映されたかまでは評価できないため、未報告情報を補って解釈しないことが大切です。

生成課題と、多肢選択課題は分けて考える

CICERO-v1には、人が書いた推論を生成するCICERO_NLGと、もっともらしい選択肢を選ぶCICERO_MCQがあります。多肢選択版では、人手回答1件に対して機械生成した代替候補4件を組み合わせました。候補は、矛盾を生成するよう学習したT5-largeで作り、元回答との類似度や矛盾判定でふるいにかけ、さらにモデルが見分けにくい誤答を残す敵対的フィルタリングを使っています。

ここでいう「矛盾する候補」は、人が書いた推論の第三の種類ではありません。人手回答は、会話から読み取れる推論か、書かれてはいないが文脈と整合する推測です。矛盾候補は多肢選択問題の誤答を作る工程で生成されます。また、検証者が複数の選択肢をもっともらしいと判断した設問もあり、論文表では正答が1つだけとされた問題は86.01％、2つは9.37％、3つ以上は4.62％でした。常識推論には単一正解を置きにくいこと自体が、データにも表れています。

CICEROを使うときに残る限界

第一に、付与された原因や動機は実際の話者への聞き取りではなく、第三者が会話を読んで作った「もっともらしい説明」です。論文では約80％が、会話中に答えが直接書かれていない推測型でした。話者の本当の意図や、その後に実際に起きた出来事の記録としては扱えません。

第二に、v1の各学習事例には人手推論が1件しかありません。しかし同じ発言にも複数の妥当な理由があり得ます。公式リポジトリは、この問題に対応する後継のCICERO-v2で複数の推論を書かせたと説明しています。第三に、素材は自然発生した私的会話の録音ではなく、日常会話教材、推論課題、試験問題に由来する英語テキストです。2者対話に限られるため、多人数会話、非言語情報、声色、沈黙、文化差を必要とする推論へそのまま一般化はできません。

CICEROが示すのは、会話理解のデータ作成では、ラベル名だけでなく「直接の原因と必要な前提をどう分けるか」「書かれていない推測をどこまで許すか」「複数正解をどう扱うか」を先に決める必要があるということです。株式会社イングクラウドでも、研究目的に合わせて対象発話の抽出、質問文と判断基準の設計、作業者テスト、複数人検品まで一体で組み立てることが重要だと考えています。