「この行動は明らかに間違いか」と問う問題と、「二つの出来事のどちらが快いか」を比べる問題では、同じ道徳判断でも、入力も正解の決め方も違います。ETHICSは文章で示された場面を使い、常識、正義、義務論、功利主義、美徳に関する判断を五つの課題で測るベンチマークです。AIに倫理規則を自ら決定させる課題ではありません。

五つの課題は入力と評価単位が異なる

原論文「Aligning AI With Shared Human Values」の著者はDan Hendrycks、Collin Burns、Steven Basart、Andrew Critch、Jerry Li、Dawn Song、Jacob Steinhardtの七人です。arXivへの初投稿は2020年で、発表先はICLR 2021です。著者らは、単一の善悪ラベルで倫理全体を扱わず、五つの観点について、文章に基づく判断の予測を評価しました。

Justiceは単に「公平か」を問う課題ではありません。誰かへの扱いを変える理由が妥当かをみるimpartialityと、「XはZを理由にYを受けるに値する」という主張をみるdesertを含みます。Deontologyは行為全体の善悪ではなく、依頼に応じない理由や、特定の役割に伴う責務の合理性を判定します。Virtue Ethicsも性格の自由記述ではなく、与えられた性格語と場面の適合を判定します。

Commonsenseでは短文と長文で正解の根拠が違う

一～二文の短い事例ではAmazon Mechanical Turk（MTurk）の作業者に、行動者が明らかに間違っている一人称の場面と、明らかには間違っていない場面を書いてもらいました。Justice、Deontology、およびMTurkで収集したCommonsenseの短文は、別の五人がラベルを再判定し、五人中少なくとも四人が一致したものを残しました。論文は、曖昧な道徳的ジレンマを中心に集めたとは述べていません。

一～六段落の長文はRedditの「Am I the Asshole?」（AITA）投稿を利用しました。投稿者が自分の行動を説明し、読者の判定を含むコメントの賛成票を集計します。原論文は、計100票以上、同じ判定が95％以上という条件を記し、ラベル数の均衡を取るために抽出したと説明しています。政治的・性的な内容が強い投稿は除き、編集済み投稿は通常・難問テストから外しました。別途、判定が割れた長文を集めた不一致検出用データもありますが、通常の正解付き三分割とは用途が違います。

Justice・Deontology・Virtueは関連例をまとめて作る

Justiceのimpartialityでは、通常の扱いを記す場面に、扱いを変える妥当な理由と妥当でない理由をそれぞれ二つ作ります。desertでは、文面の近い妥当・不当な主張を各二つ作ります。Deontologyでは、依頼に対するもっともらしい免除理由と不合理な理由、または役割に伴う合理的・不合理な責務を対照させます。JusticeとDeontologyは別の五人による再判定で、少なくとも四人が一致する事例を採用しました。

Virtue Ethicsでは、作業者が異なる二つの性格特性を選び、それぞれを表す、わずかに異なる場面を書きます。別の作業者が適合しない性格語も用意し、一場面につき五つの候補語を扱います。検品時には三人が候補語を判定し、全員が一致した語を残しました。評価で使うのは、場面ごとに候補語を自由に生成する結果ではなく、各〈場面・語〉の適否です。

これら三課題について論文が示す結果は、単純な一行ごとの正答率とは違います。関連する行をすべて正しく判定したときに一組を正解と数えます。公開CSVには明示的なグループID列はありませんが、著者の評価コードはJustice・Deontologyを連続四行、Virtueを連続五行として集計しています。

Utilitarianismは快さの順位から比較問題を作る

功利主義の課題は「多数を助けるために少数を犠牲にするか」という問いに限りません。作業者が場面の組を作り、米国の典型的な人の立場から、当人にとって快い順に並べました。別の七人が同じ組の隣接する場面の順位を判定し、すべての隣接比較で過半数が一致した組を残します。人に各場面の絶対的な快さを点数で付けさせて、その数値を正解として公開したわけではありません。

公開ファイルの一行は「より快い場面、より快くない場面」の二列です。モデルは各場面へ個別に値を出し、二場面の順序が人の順位に合うかで評価されます。長さや語句の近い二場面も含みますが、比較の対象は文章に表れた快さであり、人間全体の幸福度の直接測定ではありません。

難問テストはモデルが見分けにくい例を選ぶ

論文の「Hard Test」は、各課題の候補から、小型のBERT系二モデルが正解しにくい例を選ぶadversarial filtrationで作りました。候補を五通りに分割してモデルの損失を調べ、関連例を組で評価する課題は組の平均損失で選びます。残った候補から追加の合意確認を経て通常のTestも作成しました。文章の否定や長文化を五課題すべてに施した、あるいは人間の意見が割れた事例をHard Testへ集めた、という意味ではありません。

小さな編集でラベルが変わる対照例も使います。論文付録は、Commonsense・Justiceのdesert・Virtueでは文面が近い例を、Utilitarianismでは冒頭文が同じ場面の組を収集したと説明します。難問化と対照例は異なる工程です。モデルの結果は発表当時の条件に限られ、例えば原論文のALBERT-xxlargeは五課題の平均で通常Testが71.0％、Hard Testが47.9％でした。これは課題ごとに異なる評価単位を平均した値です。

公式配布の15ファイルは合計134,420行

著者GitHubのREADMEが案内する公式データアーカイブを数えると、五課題に各三分割のCSVがあり、主要15ファイルの合計は134,420行です。論文表1の「Dev」は配布ファイル名ではtrainに対応し、通常のtestと難問のtest_hardが続きます。下表の単位はCSVのデータ行であり、別の元場面の数やグループ数ではありません。

列も共通ではありません。Commonsenseはlabel, input, is_short, edited、JusticeとVirtueはlabel, scenario、Deontologyはlabel, scenario, excuseです。二値ラベルの1は、順に「明らかに誤り」「理由が妥当」「性格語が適合」「弁明・責務が合理的」を示します。Virtueのscenarioには[SEP]を挟んで性格語も入ります。Utilitarianismはヘッダーも数値ラベルもない二列で、列の順序が好ましさを表します。さらにCommonsenseには、ヘッダーもラベル列もない長文の不一致検出用cm_ambig.csvが995行あります。これは上表へ足していません。

ラベルの根拠と関連行を分けて記録する

ETHICSでは、短文の再判定、長文への投票、性格語の一致、快さの再順位付けが別々の根拠になります。MTurkでの場面作成には事前の資格テストがあり、論文が挙げる募集対象は米国・カナダ・英国の英語話者です。公開CSVは最終的な文と判定を中心に収録し、全作業者の属性や個々の投票数を一行ごとに示す構成ではありません。

この制作工程から、問題形式に合わせて「何を一行と数えるか」「正解はどの判断に由来するか」「複数行をまとめて採点するか」を区別する大切さが分かります。五課題の結果を一つの道徳的能力の数字として読む際にも、もとの判断方法と評価単位を併せて確認する必要があります。