AI学習用の画像や音声を集めるとき、「1,000人へ依頼して、一人10件なら1万件集まる」と計算することがあります。クラウドソーシングで多数の参加者を募集すれば、短期間で大量のファイルが届くこともあります。

ところが、提出物を確認すると、研究やAI学習に利用できるデータが想定より少ないことがあります。画像がぼけている、音声に雑音が入っている、同じ内容が重複している、条件と異なる人が参加している。全体数は足りていても、必要な属性だけ不足していることもあります。

データ収集で管理するべきなのは、提出件数ではなく、検品後に利用可能な状態で残る有効データ数です。

提出数と有効データ数は一致しない

提出されたデータから、利用できないものを除くと有効データ数になります。

有効データ数 ＝ 提出数 − 不良 − 重複 − 条件違反 − 利用できないデータ

実際には、一つのデータが複数の除外理由に該当することもあります。除外件数を単純に足すだけでなく、各データに検品結果と除外理由を記録する必要があります。

画像・音声・テキストで起こる不良

画像・動画

• ぼけ、手ぶれ、暗さ、逆光がある
• 指定された角度や距離ではない
• 対象物の一部が画面外に出ている
• 第三者や個人情報が映り込んでいる
• 連続写真がほぼ同じ内容になっている

音声・対話

• 環境音や反響が大きい
• 第三者の声が入っている
• 指定された発話内容と異なる
• 録音が途中で切れている
• 複数話者の音声を区別できない

アンケート・文章

• 設問を読まずに回答している
• 同じ回答を繰り返している
• 自由記述を生成AIへ任せている
• 募集対象と異なる属性で参加している
• 同じ人が複数回参加している

重複はファイルだけ見ても分からない

同じファイルが複数回提出されていれば、ファイルのハッシュ値などで検出できます。しかし、少し切り抜いた画像、撮り直したように見える連続写真、同じ文章を一部変更した回答などは、単純な一致判定では見つかりません。

参加者ID、撮影時刻、端末情報、画像の類似度、回答履歴などを組み合わせて確認します。何を重複とするかも、研究目的によって異なります。

全体数が足りても属性別では不足する

年代、性別、地域などを均等に集める場合、全体件数だけを追うと偏りが生じます。募集しやすい区分から提出が増え、不足している区分だけが最後まで残るためです。

例えば各年代100人が必要なとき、20代が200人、60代が20人集まっても、全体数で不足を補うことはできません。募集枠を区分ごとに管理し、定員へ達した区分は募集を止め、不足区分へ募集手段を集中します。

必要数ちょうどを募集しない

2万枚が必要で、一人20枚を提出するなら、単純計算では1,000人です。しかし、有効データ率が80％なら、必要人数は約1,250人になります。

必要データ数 ÷ 一人当たりの提出数 ÷ 有効データ率 ＝ 必要な参加者数

有効データ率は、過去の類似案件や小規模な試行から見積もります。初めて扱う収集条件であれば、最初から高い合格率を前提にしない方が安全です。

不良を除外するだけでは完成しない

不良データを削除すると品質は上がりますが、必要数は減ります。除外後に何件不足したか、どの属性が不足したかを確認し、再提出または追加募集を行わなければなりません。

イングクラウドでは、単に参加者を集めてファイルを回収するのではなく、次の情報を管理します。

• 属性別の募集枠と現在数
• 参加者ごとの提出状況
• 検品結果と不備内容
• 再提出の依頼と対応状況
• 重複参加や重複データ
• 除外理由
• 属性別の有効データ数
• 不足区分の追加募集状況

必要な構成の有効データがそろって初めて、データ収集が完了します。

最初に合格条件を決める

検品を始めてから合格条件を考えると、担当者ごとに判断が変わります。本番前に、合格、不合格、再提出、研究者確認の条件を決め、具体例を用意します。

それでも想定外の提出は発生します。判断に迷った例を記録し、研究者へ確認しながら基準を更新します。新しい判断を、すでに検品したデータへ遡って適用する必要があるかも決めます。

回収数ではなく利用可能なデータセットを納品する

クラウドソーシングの募集画面では、参加人数や提出件数を確認できます。しかし、その数字だけでは、研究条件を満たすデータが何件あるか分かりません。

重要なのは、必要な属性と品質を満たすデータを、利用できる形式でそろえることです。募集、進捗管理、検品、再提出、追加募集を一つの工程として設計する必要があります。