データ入力やアノテーションでは、同じ作業を複数人へ依頼し、回答が一致したものを採用する方法があります。2人の回答が一致すれば確定し、不一致だけを3人目が確認する仕組みもその一つです。

一人の判断だけに頼らないため、直感的には品質が上がりそうです。しかし、複数人が同じ回答をしたことと、その回答が正しいことは同じではありません。作業仕様の読み違いや画面設計の問題があれば、全員が同じ方向へ間違うこともあります。

この記事では、多数決や回答の一致をデータ作業の品質管理へ使う条件と、その限界を整理します。

本記事では、複数人の回答をまとめて一つの結果を得る方法を広く「多数決」「一致判定」と表現します。実際の設計には、単純多数決、2者一致、不一致時の第三者判定、熟練者による裁定など、複数の方法があります。

大勢で牛の重さを予想すると正解に近づく？

集合知の有名な実例が、統計学者フランシス・ゴルトンが1907年に報告した牛の重量当てです。品評会の参加者が予想した、処理後の牛の重量を集計したところ、787件の予想の中央値は実際の重量に近い値になりました。ゴルトンの報告「Vox Populi」は、後に「群衆の知恵」を説明する代表例として知られるようになりました。

ポイントは、単に人数が多かったことではありません。ある人は多めに、別の人は少なめに見積もるため、互いに独立した誤差が集計によって打ち消し合うことがあります。反対に、他人の予想を見てから答えると、全員が同じ数字に引っ張られる可能性があります。

他者の予想を知らせると集合知が低下した研究も報告されています。回答が似通って見かけ上の一致は増えても、正解へ近づくとは限りません。意見の多様性と、各自が独立して判断できる環境が必要です。

データ作業の多数決にも同じ考え方が使えます。ただし、重量のような数値予測では平均や中央値を使えるのに対し、画像分類や文字入力では回答の一致や最多回答を使います。問いの種類に合わせて集約方法を選ぶ必要があります。

一致率は正解率ではない

最初に区別しておきたいのが、一致率と正解率です。

• 一致率：複数の作業者が同じ回答をした割合
• 正解率：あらかじめ定めた正解や専門家の判定と一致した割合

例えば、3人全員が画像を「犬」と分類すれば、一致率は高くなります。しかし、画像が実際にはオオカミだったなら、全員が一致して誤っています。

それでも一致・不一致は無意味ではありません。不一致が多い項目は、画像が見づらい、選択肢が曖昧、仕様に不足があるなど、何らかの問題を含む可能性があります。一致は正解そのものではなく、品質を制御するための信号として使うのが適切です。

複数人の判断を使う代表的な方法

すべてのデータを3人へ依頼する必要はありません。最初の2人が一致したものは確定し、不一致だけを追加確認すれば、単純に全件を三重化するより費用を抑えられます。

多数決が機能しやすい条件

正解や選択肢が明確である

「数字の7か1か」「画像に自動車が写っているか」のように、判定基準を共有しやすい作業では一致判定を利用しやすくなります。一方、「この文章は好意的か」「この会話は自然か」のような主観を含む評価では、意見の違い自体がデータになる場合があります。

作業者が独立して判断している

先に回答した人の結果が見えると、後の作業者がその回答へ引っ張られます。複数人へ依頼していても、実質的には独立した判断ではありません。回答を確定するまでは他者の結果を見せない設計が基本です。

同じ誤りを誘発する原因が少ない

作業者の判断が独立していても、同じマニュアル、同じ画面、同じ画像を使えば、誤りの原因まで共通することがあります。説明文が誤っていれば、まじめに作業した全員が同じ誤答へ到達します。

判断を適切に集約できる

最多回答を採用するだけでよいのか、専門家の判定を優先するのか、判断のばらつきをそのまま残すのかは、データの利用目的によって異なります。集め方だけでなく、集約方法まで設計して初めて品質管理になります。

多数決でも防げない誤り

仕様が曖昧なまま全員が同じ解釈をする

例えばレシートOCRで、値引き後の価格と値引き前の価格のどちらを入力するか書かれていなければ、多数派の慣習が採用されるだけです。多数派の回答が、データ利用者の求める仕様と一致するとは限りません。

見本や初期説明が誤っている

誤った記入例がマニュアルに掲載されていれば、作業者は同じ誤りを再現します。この場合、人数を増やしても正解には近づきません。

画面や選択肢が誤操作を誘発する

似た選択肢が隣り合っている、初期値がそのまま送信される、スマートフォンでは画像の一部が見えないといった問題は、複数の作業者へ共通して影響します。個人の注意力ではなく、作業環境の問題です。

少数意見の中に正しい判断がある

専門知識が必要な分類では、少数の経験者だけが正しい場合があります。また、差別表現や安全性評価などでは、少数者が気づいた問題を多数決で消してよいとは限りません。

正解が一つに定まらない評価では、無理に一つへまとめず、回答の分布や判断理由を残す方法も検討します。

人数を増やす前に作業設計を見直す

情報処理学会デジタルプラクティスで公開されている名刺データ化の事例では、一つのタスクについて早く同じ回答が2件得られた場合に確定する仕組みが紹介されています。

同事例では、2人の一致を3人の一致へ増やす実験も行われましたが、抽出したデータの品質に大きな差は見られませんでした。1人当たりの正解率がすでに高い場合、冗長化を追加して得られる改善幅は小さくなると説明されています。一方で、必要な一致数を増やせば、費用、処理量、納期への負担は増えます。

また、事前説明と練習問題を調整したことで誤りが減った例も示されています。品質を上げる手段は、作業者を増やすことだけではありません。

• 判定基準を具体化する
• 迷いやすい例をマニュアルへ追加する
• 本番前に練習問題や少量のテストを行う
• 間違えやすい画面や選択肢を修正する
• 難しい項目だけ熟練者へ回す
• 機械で判定しやすい項目と人が見る項目を分ける

全員へ同じ作業を追加する前に、誤りがどこで生まれているのかを調べるほうが、費用対効果の高い改善になることがあります。

作業開始直後の少量テストも品質管理になる

本番データを大量に配布する前に、すべての作業者へ20件や30件などの少量を依頼し、結果を確認する方法があります。ここで見るのは、単純な合否だけではありません。

• 作業者ごとの正解率や不一致率
• 多くの作業者が間違えた設問
• 判断に時間がかかった項目
• 質問が集中したルール
• 特定の選択肢への偏り

一部の作業者だけが間違えるなら、追加説明や担当者の選別が有効かもしれません。多くの作業者が同じ場所で間違えるなら、個人ではなく仕様、素材、画面を疑います。

全件を同じ品質にする必要があるか

品質管理を設計するときは、最終的なデータを何に使うのかを確認します。

顧客への請求額や連絡先のように、一つの誤りが業務へ直接影響する項目では、高い精度と確実な確認が必要です。一方、大量の候補から有用なものだけを後工程で選ぶプロジェクトでは、最初の工程に一定の誤りが含まれていても成立することがあります。

後者で全件を二重、三重に作業し、さらに全件検品まで行えば、品質は上げられても予算や納期が合わなくなるかもしれません。反対に、誤りが重大な損失や安全上の問題につながるなら、費用だけを理由に確認工程を省くことはできません。

目標は常にエラー率0％にすることではなく、用途に対して許容できる品質を、現実的な費用と期間で実現することです。

多数決・熟練者判定・検品を使い分ける

実務では、一つの方法だけで全工程を処理するより、通常項目は一致判定、難しい項目は熟練者、納品前は抜き取り検品というように組み合わせることが多くなります。

集合知を品質へ変えるには設計がいる

複数人の判断を集めれば、自動的に集合知が生まれるわけではありません。作業者が独立して判断でき、問いが明確で、異なる回答を適切にまとめられるとき、人数の多さを品質へつなげられます。

一致率は正解率ではありません。しかし、一致しない項目を見つけ、難しい判断だけを追加確認へ回すためには有力な信号です。重要なのは、人数を増やすこと自体ではなく、どの誤りを、どの工程で、どの程度まで減らすかを先に決めることです。

費用、期間、品質のすべてを無制限に高めることはできません。データの利用目的と誤りの影響を確認し、多数決、作業者テスト、熟練者判定、抜き取り・全件検品を組み合わせて設計します。