同僚の間違いを本人に知らせず、上司へ報告した。友人のためを思って秘密を家族へ話した。このような場面では、同じ文章を読んでも人によって善悪の判断が分かれます。

AI用データを作るとき、3人中2人が「悪い」と答えたら、それを正解にしてよいのでしょうか。道徳判断では、不一致そのものが重要な情報になります。

本記事は公開研究を手掛かりに、価値判断データの設計を考えるものです。多数意見を普遍的な道徳的正解として扱うものではありません。

現実の相談事例を使ったSCRUPLES

SCRUPLES: A Corpus of Community Ethical Judgments on 32,000 Real-Life Anecdotesは、実生活に近い約3万2千件の逸話と、コミュニティによる多数の倫理判断を収録した研究です。

素材には、投稿者が自分の行動について他者の判断を求めるオンラインコミュニティの事例が使われました。抽象的な「嘘は悪いか」ではなく、登場人物の関係、経緯、本人の説明を含む長い場面です。

長い文脈を読むと判断が変わる

「秘密を話した」だけなら悪い行動に見えても、生命に危険があり、支援を求めるためだったと分かれば評価は変わります。

道徳判断データでは、行動だけを短く抜き出すと重要な条件が失われます。誰が誰に何をしたのか、どのような義務があったのか、結果として誰が影響を受けたのかを残す必要があります。

多数決で一列に並べると情報が消える

評価者10人のうち6人が「悪い」、4人が「悪くない」と答えた事例と、10人全員が「悪い」と答えた事例を、同じ正解ラベルにすると確信度の違いが消えます。

最低限、次の情報を分けて保存できます。

• 各選択肢の回答数と割合
• 評価者間一致度
• 判断の確信度
• 理由の自由記述
• 評価者の立場や経験
• 判断が割れた論点

モデルの学習には多数ラベルを使う場合でも、元の回答分布を残せば、曖昧な事例だけ人へ戻す運用が可能になります。

不一致には複数の原因がある

意見が割れたからといって、すべて価値観の違いとは限りません。

• 文章が曖昧で、事実関係の解釈が違う
• 登場人物のどちらを評価するかが違う
• 法律上の問題と礼儀の問題を混同している
• 判断基準や選択肢の説明が不足している
• 文化、年代、当事者経験によって価値観が違う

データ制作では、不一致を機械的に除外する前に、設問の不備なのか、本当に社会的評価が分かれるのかを確認します。

判断理由を集めるとモデルの誤りも検証しやすい

善悪ラベルだけでは、評価者がどの条件を重視したのか分かりません。被害の大きさ、約束、本人の意図、力関係など、理由を短文で収集すると判断構造を分析できます。

ただし、もっともらしい理由を後付けすることもあります。理由文も無条件に正解とせず、別の評価者が場面との整合性を確認する工程が必要です。

AIが迷うべき問題を、無理に断定させない

社会的に判断が割れる事例では、AIが一つの答えを自信満々に返すこと自体が問題になる場合があります。

回答分布を学習・評価に利用すれば、「一般にはこちらが多いが、別の見方もある」「追加情報がなければ判断できない」と応答する能力も測れます。正解率だけでなく、不確実性を適切に表現できるかが重要です。