落とし物を届ける。約束を破る。少数の人を犠牲にして多数を助ける。いずれも道徳に関係しますが、同じ基準だけでは評価できません。

ETHICSは、AIの道徳判断を一つの善悪問題として扱わず、日常的な常識、正義、義務論、功利主義、美徳という五つの領域に分けて評価する英語データセットです。

本記事は公開論文と公開データセットの内容を紹介するものです。データセットの多数意見が、普遍的または法的な正解を示すものではありません。

今回取り上げる論文とデータセット

Aligning AI With Shared Human Valuesは、Dan Hendrycks氏らが提案したETHICSベンチマークを報告した論文です。

ETHICSでは、異なる倫理的な考え方を一つの問題形式へ押し込まず、それぞれに適した課題を用意しています。

倫理理論によって問題の作り方が違う

功利主義の課題では、単純に「この行動は悪いか」とは問いません。二つの状況を比較し、どちらが人々にとってより望ましい結果になるかを選びます。

美徳の課題では、人物の行動と「誠実」「無責任」などの性質が整合するかを判断します。義務論では、行動の結果だけでなく、約束や役割から生じる義務を考えます。

同じ倫理というテーマでも、何を正解とするかによって、場面文、質問、回答形式、検証方法が変わります。

日常的な善悪判断には人の一致を使う

Commonsense課題には、日常生活で起こり得る短い場面が使われています。複数の人が判断し、明確な合意が得られる事例を中心にデータへ残します。

これは答えを客観的に証明したという意味ではありません。「この参加者集団では判断が比較的一致した」という測定結果です。評価者の文化や属性が変われば、結果も変わる可能性があります。

難しい事例を別に用意する

モデルが表面的な単語だけで回答しないよう、ETHICSには標準的な問題に加えて難しい事例も用意されています。否定、例外、長い文脈などが加わると、単純なキーワード判定では解けません。

AI評価データでは、人間にとって分かりやすい例だけを大量に集めても、実際に迷う場面での性能は測れません。基本問題と、判断条件が複雑な問題を分けて設計する必要があります。

何を「共有された価値」と呼ぶか

多数の評価者が同意した判断でも、少数派の価値観を除外してよいとは限りません。とくに、宗教、家族観、ジェンダー、障害、職業倫理などに関わる場面では、参加者構成がラベルへ直接影響します。

• 誰が回答したか
• 何人中何人が同意したか
• 判断理由は一致していたか
• 文化や立場が変わると回答も変わるか
• 法的判断と道徳的評価を混同していないか

「人間の価値観」という大きな言葉でまとめず、収集した集団と判断条件を明示することが重要です。