AI学習データの偏りというと、モデルやアルゴリズムの問題を思い浮かべるかもしれません。しかし、偏りはデータを集める段階ですでに生まれています。

オンライン募集へ反応しやすい人、撮影しやすい環境を持つ人、指定端末を使う人から先にデータが集まります。総数だけを目標にすると、集めやすい人のデータが多数を占めます。

募集媒体によって参加者が偏る

クラウドソーシング、SNS、大学内募集、調査パネル、地域団体では、接触できる人が異なります。一つの媒体だけで集めると、その媒体を利用する人の特徴がデータへ反映されます。

研究目的に必要な構成と、募集媒体の登録者構成を比較し、不足する層には別の募集方法を使います。

集めやすい区分から定員を超える

全年代を均等に募集しても、若年層から先に応募が集まり、高齢層が不足することがあります。募集を開いたままにすると、すでに十分な区分だけが増え続けます。

属性ごとに定員を設定し、到達した区分を停止する割付管理が必要です。

端末と環境も偏りを作る

特定のスマートフォンだけで撮影すると、その端末の画質や画像処理へ偏ります。自宅の広い部屋を必要とする撮影なら、住環境による偏りも生じます。

撮影条件を統一することと、現実世界の多様性を含めることのどちらを優先するかは、学習・評価目的によって変わります。

品質基準が特定の集団を除外することもある

同じ撮影手順でも、身体特性、障害、生活環境などによって条件を満たしにくい人がいます。検品基準を機械的に適用すると、特定集団のデータだけが多く除外される可能性があります。

属性別の提出数だけでなく、属性別の合格率と除外理由も確認します。

構成比を決めるには利用場面を考える

全区分を同数にすれば常に公平とは限りません。現実の利用者分布を再現するのか、少数集団も十分に評価できる構成にするのかによって、必要な比率が変わります。

収集会社が構成比を単独で決めるのではなく、研究者・開発者が利用目的から必要な分布を決め、収集側が実現可能性を確認します。

偏りを後から完全に直すことは難しい

大量収集後に不足属性が分かっても、研究費や期間が残っていなければ追加募集できません。研究計画の段階で属性表を作り、途中経過を確認しながら募集量を調整します。

データ数と一緒に収集過程を残す

どの媒体で募集し、各区分へ何人が応募し、何件が除外され、最終的に何件残ったかを記録します。完成データだけでなく、収集過程を残すことで、データセットの限界を説明できます。