AIに「良い行動」と「悪い行動」を教えるとき、行動の文章だけを分類すればよいのでしょうか。同じ行動でも、目的や状況、相手との関係によって評価は変わります。

Moral Storiesは、短い物語の中で、社会規範、状況、登場人物の意図、行動、その結果を結び付けた英語データセットです。AIが表面的な単語ではなく、行動の理由と帰結から道徳的な判断を学べるかを検討します。

データに含まれる規範は、収集時の作業者と文化的背景に基づきます。道徳上の唯一の正解を定めたものではありません。

一つの物語を複数の要素へ分ける

各事例には、日常的な社会規範、状況の説明、登場人物の目的、規範に沿う行動または反する行動、その結果が含まれます。

例えば「困っている人を助ける」という規範だけを示すのではなく、誰がどんな場面で何を望み、どの行動を選び、何が起きたかを物語として記録します。これにより、行動の分類だけでなく、規範に沿う物語の生成や、欠けた要素の推論にも使えます。

対照的な物語が近道を防ぐ

自然言語データでは、モデルが「親切」「盗む」など特定の単語だけで答えを当てることがあります。Moral Storiesでは、同じ状況や意図を保ちながら、道徳的な行動と非道徳的な行動、その結果を対にする設計が採用されています。

対照例があることで、モデルが単語の印象だけでなく、行動と規範の関係を読めているかを試しやすくなります。ただし、生成された物語に不自然な手掛かりが残れば、それ自体を利用される可能性があります。

常識と道徳は切り離しにくい

行動を評価するには、世界で何が起きるかという因果関係も必要です。薬を他人へ渡す行動が危険かどうかは、薬の用途や副作用、処方の仕組みを知らなければ判断できません。

つまり道徳データには、価値判断だけでなく、日常知識、登場人物の意図、予測される結果が混ざります。モデルが間違えたときも、規範を知らないのか、状況を理解できないのかを分けて見る必要があります。

作業者が物語を書くときに起きる偏り

• 分かりやすい善悪へ例が集中する
• 悪い行動だけ極端で不自然になる
• 結果が必ず勧善懲悪になる
• 特定の家族観や職業観が前提になる
• 文章の言い回しからラベルが推測できる

品質管理では文法だけでなく、対となる物語の自然さ、条件の揃い方、ステレオタイプ、ラベルを漏らす表現を確認します。判断が割れる例を削除するだけでなく、なぜ割れたかを記録することも重要です。

日本語版では場面と関係性を作り直す必要がある

英語の物語を翻訳しただけでは、日本語の敬語、上下関係、家族や地域の慣習、暗黙の配慮が十分に表れません。日本語で自然な状況を収集し、評価者の理由も残す設計が必要です。

Moral Storiesは、道徳を単一ラベルとして付けるのではなく、規範・意図・行動・結果を分解する価値を示します。同時に、社会規範データが作業者の価値観から独立できないことも教えてくれます。

同じ物語を善い行動と悪い行動へ分岐させる

Moral Storiesでは、日常場面、社会規範、登場人物の意図、規範に沿う行動と反する行動、それぞれの結果を構造化して記録します。一つの物語へ善悪ラベルを付けるだけでなく、どの行動がどの規範と関係するかを学べます。

「約束を守るべき」という規範でも、緊急事態や相手への危険があれば判断は変わります。規範だけを単独で提示せず、状況、意図、結果を一組にすることが重要です。

もっともらしい反例を作る作業が難しい

悪い行動を極端な犯罪ばかりにすると、AIは簡単な単語だけで判定できます。善い行動と同じ登場人物・状況を保ち、行動の選択だけを変えた対照例が必要です。作業者には、文法的な自然さと道徳判断を別々に確認してもらいます。

評価者間で判断が割れた例は、誤データとして捨てるのではなく、規範が条件依存であることを示す材料になります。

道徳判断と物語理解を切り分ける

登場人物の行動を評価するには、その前に誰が何を望み、どの選択肢があり、行動の結果がどうなったかを理解する必要があります。モデルが問題を解けても、道徳を理解したのではなく、否定的な単語や定型表現を手掛かりにしただけかもしれません。

データ制作では、善い話と悪い話で文章の長さや感情語が偏らないようにし、行動だけを入れ替えた対照例を作ります。表面的な手掛かりを減らすことは、作業者に自然な物語を書いてもらうことと両立しにくく、検品時には内容だけでなく形式上の偏りも確認します。

規範の理由を残すと再評価できる

「悪い行動」というラベルだけでは、危害、欺瞞、約束違反、公平性など、何が問題だったのか分かりません。短い理由や適用した規範を残せば、研究目的が変わったときにも分類を見直せます。

日本語版を作る場合は、学校、家庭、職場などの関係性と、明文化された規則、慣習的な期待を区別する必要があります。規範を当然視せず、評価者が判断できない例を保留できることも品質の一部です。

作業者の一致率だけで規範の正しさは決まらない

多くの評価者が同じ判断をしたとしても、その判断が普遍的に正しいとは限りません。物語の情報が不足しているため同じ推測をした可能性や、参加者構成が特定の価値観へ偏っている可能性があります。

一致率は作業手順の安定性を見る指標として使い、意見が割れた例を削除する前に理由を確認します。曖昧な例には、背景情報の不足、複数規範の衝突、結果と意図の評価差など、研究対象として価値のあるものが含まれます。難例を残す区分を設けることで、単純な善悪分類を超えた評価ができます。

物語生成と評価を同じ人だけに任せない

一人の作業者が物語を書き、自分で善悪を判定すると、意図した答えが文章へ露骨に表れやすくなります。作成者とは別の評価者が、背景を知らずに読んでも同じ構造を理解できるか確認します。

不一致が出たときは多数決で終わらせず、物語の不足情報、ラベル定義、文化的前提のどこに原因があるかを分類します。その記録が次の作成指示を改善します。