2026年9月30日
評価者の判断が割れたら誰が決める？アノテーションのアジュディケーション設計
同じデータに二人が別のラベルを付けたとき、「三人目に決めてもらう」だけでは問題が残ることがあります。一人が根拠を見落としたのか、ラベルの境界が曖昧なのか、判断に必要な資料がそもそも渡されていないのかによって、直すべき場所が違うからです。 アジュディケーションは、複数人の判定が割れた項目を確認し、利用目的に照らして採用するラベルや次の処理を決め、その根拠を記録…
評価者間不一致
-
-
2026年9月18日
評価者によって善悪の判断が違うとき、正解をどう決めるか
同じ行為を読んでも、ある人は「投稿者が悪い」、別の人は「相手が悪い」と判断します。10人中6人と10人中10人の多数派ラベルを同じ「正解」にしてしまえば、意見の割れ方は消えます。では、評価者によって善悪の判断が違う課題で、正解はどう作ればよいのでしょうか。 SCRUPLESは、この問題を「普遍的な道徳の決定」ではなく、あるコミュニティの判断分布を予測する課題…