同じ行為を読んでも、ある人は「投稿者が悪い」、別の人は「相手が悪い」と判断します。10人中6人と10人中10人の多数派ラベルを同じ「正解」にしてしまえば、意見の割れ方は消えます。では、評価者によって善悪の判断が違う課題で、正解はどう作ればよいのでしょうか。

SCRUPLESは、この問題を「普遍的な道徳の決定」ではなく、あるコミュニティの判断分布を予測する課題として扱ったデータセットです。名称は「Subreddit Corpus Requiring Understanding Principles in Life-like Ethical Situations」の略で、Allen Institute for AIなどの研究者が公開しました。

SCRUPLESが記録するのは規範の処方箋ではなく、特定の場で人々が実際に示した記述的な判断です。多数派だから道徳的に正しい、という意味ではありません。

3万2766件の逸話に、62万6714件の判断

SCRUPLESは二つの部分から成ります。中心となるAnecdotesは、Redditの相談コミュニティ「r/AmItheAsshole」に2018年11月から2019年4月まで投稿された実話的な逸話です。投稿者は、自分がしたこと、またはしようとしていることを書き、「自分が悪いのか」と意見を求めます。研究者が会話を新規収録したのではなく、既に公開されていた投稿とコメント投票をPushshift Reddit Datasetから抽出しました。

収録数は3万2766件、合計1350万語弱（13,460,629 tokens）、個々の倫理判断は62万6714件です。学習用2万7766件、開発用2500件、テスト用2500件に分かれ、1逸話あたりの判断数の中央値は8件でした。長い本文には人物関係や経緯、例外条件が残るため、短い行為名だけでは見えない文脈も評価対象になります。

参加者への依頼は、データの二つの部分で異なる

Anecdotesでは、研究用に評価者を募集したわけではありません。Reddit利用者が、通常のコミュニティ活動としてトップレベルコメントに略号を書き込みました。研究者は関連性と判断の独立性を高めるため、投稿への直接返信だけを使用しています。論文には、これら利用者の年齢、地域、属性、専門性や、同一人物が何件判断したかは報告されていません。

• YTA → author：投稿者が悪い
• NTA → other：相手側が悪い
• ESH → everybody：全員が悪い
• NAH → nobody：誰も悪くない
• INFO → info：判断には情報不足

開発集合に含まれる個々の判断の比率は、author 29.8%、other 54.4%、everybody 4.8%、nobody 8.9%、info 2.1%です。最多票は単一のlabelとして収録されますが、各選択肢の票数はscoresとして残ります。ここが、多数決だけのデータとの重要な違いです。

投稿とラベルをどう作ったか

各事例にはタイトル、本文、判断票数のほか、実際に起きた出来事か仮定かを表すtype、タイトルから抽出したactionが付きます。「AITA」はhistorical、「WIBTA」はhypotheticalへ変換し、コミュニティ自体について話す「META」は除外しました。actionは規則と正規表現で動名詞句へ整形され、94.4%の逸話で抽出できています。

投稿者がコメント後に本文を編集すると、後から追加された情報を使って以前の投票を当てる情報漏洩が起きます。そのため研究チームは、投稿時点の本文を保存するボットのコメントから原文を取得し、見つからない投稿は捨てました。削除済み、モデレーターによるもの、短すぎるものなども規則で除外し、コメント中の略号表記の揺れは正規表現と競合解消規則で5分類へ変換しています。

Dilemmasでは「より倫理的でない方」を二択で選ぶ

もう一つのDilemmasは、Anecdotesから抽出した行為を同じデータ分割内でランダムに2回ずつ組み合わせ、重複を除いた1万件の二択比較です。各行為は最大2回しか現れません。Amazon Mechanical Turkの作業者は、二つの行為のうち「誰かがしたと聞いたら、その人をより悪く思う方」、つまりより悪い、または倫理的でない方を選びます。どちらも悪くない場合も、より称賛に値しない方を選び、できるだけ多くの人が同意する判断をするよう指示されました。

各ペアは異なる5人が評価し、開発・テスト集合には人間性能と誤り分析のためさらに5件、計10件の判断があります。参加前には、評価者間一致から作業者の信頼度を推定するMACEで適格性を確認しました。その資格判定用データも追加の学習データとして公開されています。一方、論文と公式リポジトリには、作業者の総人数、報酬額、詳しい人口統計は示されていません。

品質管理は、フィルタ精度を人手で検証

研究チームは625件の投稿と625件のコメントを別途人手で確認しました。不要データを除くフィルタのF1は、投稿0.99、コメント0.97。コメントから5分類を抽出する処理の平均F1は0.92でした。クラス別F1はauthor 0.91、other 0.96、everybody 0.96、nobody 0.92、info 0.85で、少数の「情報不足」は相対的に抽出しにくいことが分かります。

ただし、これは「倫理判断が正しい」ことの検証ではなく、投稿・コメントを意図した規則どおりに抽出できたかの検査です。DilemmasのMACEも、少数派を誤りと断定する仕組みではなく、一致パターンから作業者の信頼度を見積もるものです。

正解は一つのラベルではなく、回答分布にする

例えば5対5は「社会的に意見が割れる事例」かもしれません。一方、2対2しかないなら、単に票数が足りず分布が定まっていない可能性もあります。論文はこれを、課題そのものに内在する不一致と、モデルが十分に学べていない不確実性として分けて考え、Dirichlet-multinomialで各クラス確率そのものの分布を表す方法を検討しました。

評価も正解率やF1だけにせず、票数またはsoft labelを保存し、cross-entropyやtotal variation distanceで予測分布を比べることを勧めています。またBEST（Bayesian Estimated Score Terminus）により、有限個の人手ラベルから、その評価指標で到達し得る性能をベイズ推定します。人間同士が本質的に割れる課題で、100%一致をモデルの目標にしないための考え方です。

データの限界：コミュニティの反応を社会全体へ広げない

最大の限界は、判断が特定時期の一つのRedditコミュニティに由来することです。誰が投稿・投票したかの人口統計はなく、自己選択、コミュニティ規則、英語圏・米国中心の話題、人気コメントへの同調などの影響を分離できません。Dilemmasも文脈を短い行為句へ圧縮し、無関係な二行為を強制的に比較するため、現実の状況での判断とは一致しないことがあります。

さらに、実体験には家庭問題、差別、暴力などセンシティブな内容が含まれ得ます。公開投稿を再利用したデータでも、削除後の残存、引用からの再特定、投稿者が想定しなかった二次利用に配慮が必要です。公式リポジトリも研究目的専用とし、収録された規範は他のコミュニティを代表せず、特定製品に採用すべき正解とも限らないと注意しています。

日本語で同種のデータを作るなら

まず設問文、対象となる人物、選択肢の意味を固定し、各回答者の生の選択を残します。その上で、票数、回答者数、判断不能・情報不足を多数派ラベルと別列にします。新たに理由文や属性を集める場合は、それらがSCRUPLESの収録項目ではなく追加設計であることを区別し、同意取得、目的に必要な最小限の属性、少数集団が特定されない集計単位を決めます。

不一致を見つけたら、低品質として捨てる前に、設問の曖昧さ、文脈不足、価値観の差を切り分けます。AIに必要なのは一つの「善悪」を断言する能力だけではありません。「この集団では判断が割れている」「追加情報が必要」と適切に留保できることも、評価対象にできます。

一次資料・公式配布ページ

• Lourie, Le Bras, Choi, “Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-life Anecdotes”
• AllenAI公式リポジトリ：allenai/scruples