2026年9月18日
評価者によって善悪の判断が違うとき、正解をどう決めるか
同じ行為を読んでも、ある人は「投稿者が悪い」、別の人は「相手が悪い」と判断します。10人中6人と10人中10人の多数派ラベルを同じ「正解」にしてしまえば、意見の割れ方は消えます。では、評価者によって善悪の判断が違う課題で、正解はどう作ればよいのでしょうか。 SCRUPLESは、この問題を「普遍的な道徳の決定」ではなく、あるコミュニティの判断分布を予測する課題…
多数決
-
-
2026年9月16日
多数決でデータ品質は上がる？複数人の一致を品質管理に使う条件
データ入力やアノテーションでは、同じ作業を複数人へ依頼し、回答が一致したものを採用する方法があります。2人の回答が一致すれば確定し、不一致だけを3人目が確認する仕組みもその一つです。 一人の判断だけに頼らないため、直感的には品質が上がりそうです。しかし、複数人が同じ回答をしたことと、その回答が正しいことは同じではありません。作業仕様の読み違いや画面設計の問題…