「朝5時にミキサーを使うのは失礼だ」。多くの人には理解できても、一般的な辞書へ明記されている知識ではありません。Social Chemistry 101は、このような暗黙の社会規範を文章へ変えたデータセットです。
本記事は公開論文と公開データセットの紹介です。社会規範は文化、時代、属性によって変わり、データセットの記述が普遍的な正解を示すものではありません。
今回取り上げる論文
Social Chemistry 101: Learning to Reason about Social and Moral Normsは2020年のEMNLPで発表されました。
10万4千の場面から29万2千の経験則を作った
四つの文章領域から集めた10万4千の現実的な状況に対して、クラウドワーカーが29万2千件のRules of Thumb、つまり行動を判断するための短い経験則を書きました。そのうち約26万件は重複しない記述でした。
善悪だけで終わらせない
各経験則には、行動の良し悪し、道徳的基盤、周囲から期待される圧力、合法と考えられるかなど、12の観点が付けられています。カテゴリと自由記述を合わせると、450万件を超える注釈になります。
「悪い」の一語ではなく、なぜそう判断したのか、どの程度期待されるのかを分解しています。
多数派の常識が偏見になる可能性
社会規範を多数決で決めると、参加者の文化や属性が反映されます。論文も、別の国や非英語文化へ拡張する必要性を挙げています。回答者構成を残さずに「人間の常識」と呼ぶのは危険です。
日本語で作る場合の論点
- 家庭、学校、職場、地域社会など場面を分ける
- 年代、地域、立場による回答差を記録する
- 多数派と少数派の回答を両方残す
- 法的判断と社会的評価を混同しない
データ制作の実務で参考になる点
曖昧な概念をいきなり善悪で分類せず、まず短い経験則を人に書いてもらい、後工程で複数の観点へ分解しています。自由記述と構造化ラベルを段階的に作る設計です。
RESEARCH DATASET NOTE
社会規範・人手評価データをご相談いただけます
場面文の作成、評価者募集、理由の収集、属性別集計、不一致の管理まで設計します。
