AIや機械学習の研究では、どのようなデータを使うかが研究結果を大きく左右します。研究テーマを決め、必要なデータを想定し、研究費を確保してから、収集を依頼する会社を探す。このような順番で進めることも多いでしょう。
しかし、データ収集について相談を受けた時点で、すでに予定どおりの実施が難しくなっていることがあります。
必要な属性の参加者がほとんどいない。指定された環境で撮影できる人が少ない。必要件数を集めるには、想定以上の期間や費用がかかる。提出されたデータを検品すると、研究に使えるデータが足りない。
さらに、相談時には研究費の期限が迫り、倫理審査を終え、収集条件を簡単には変更できないこともあります。もっと早い段階で収集可能性を確認していれば、人数、条件、方法、期間を調整できたかもしれません。
AI学習データの収集について相談する時期は、仕様が完成した後だけではありません。研究テーマを決め、どのようなデータが必要かを考え始めた段階で、一度相談することをおすすめします。
株式会社イングクラウドでは、研究テーマや収集したいデータの概要を伺い、対象者の集めやすさ、必要な期間、想定される問題などを無料で調査しています。発注や正式な仕様が決まっていない段階でもご相談いただけます。
研究に必要なデータと、現実に集められるデータは同じではない
研究上必要なデータでも、現実には集めることが難しい場合があります。
例えば、年代と性別を均等にした顔画像を500人から集める計画を考えます。総数だけを見ると、500人を募集すれば実現できるように見えます。
しかし、20代から60代までの5年代と、男女の区分を均等にする場合、募集枠は10区分に分かれます。さらに地域、撮影端末、眼鏡の有無、撮影環境などを指定すると、条件の組み合わせは急速に増えます。
参加者が全体で500人集まっても、20代だけが多く、50代・60代が不足するかもしれません。都市部からの参加が集中し、特定地域が埋まらないこともあります。
データ収集では、総人数だけでなく、条件ごとに必要数がそろうかを確認しなければなりません。
人数よりも条件の組み合わせが難度を決める
データ収集の難しさは、必要人数だけでは判断できません。
1,000人を対象とした一般的なオンラインアンケートより、特定の経験、設備、環境を持つ50人を探す方が難しい場合があります。
- 特定の職業や資格を持っている
- 指定されたスマートフォンを使用している
- 撮影できる広さの室内がある
- 特定の商品、設備、車両などへアクセスできる
- 店舗や施設から撮影許可を得られる
- 二人以上で同じ時間に参加できる
- 複数日または一定期間、継続して参加できる
- 指定された地域へ移動できる
条件は一つずつ見れば難しくないように見えます。しかし、複数の条件をすべて満たす人となると、対象者は大きく減少します。
研究者にとってはデータ仕様の一項目でも、募集を行う側から見ると、母集団を狭める重要な条件です。
撮影環境が原因で集まらないこともある
画像や動画を収集する場合、参加者だけでなく、撮影対象と撮影環境も確保する必要があります。
住宅の室内、商品棚、植物、駐車場、太陽光パネル、アナログメーターなどは、参加者を募集すれば必ず撮影できるものではありません。
対象物を持っている人がいても、撮影許可を取れない場合があります。指定された距離や角度から撮影できない、周囲の人や個人情報が映り込む、照明条件を再現できないといった問題もあります。
屋外撮影では、天候、時間帯、季節も影響します。店舗や施設であれば、営業時間、管理者の許可、第三者への配慮が必要です。
こうした条件は、募集を開始してから初めて分かることもあります。研究計画の段階で小規模な試行を行えば、本番前に問題を発見できます。
回収した件数と、研究に使える件数は一致しない
クラウドソーシングのプラットフォームを使えば、短期間で大量の参加者を募集できることがあります。ただし、提出されたデータがすべて研究に使えるとは限りません。
- 画像が暗い、ぼけている、指定された角度ではない
- 音声に雑音や第三者の声が入っている
- 同じデータが重複して提出されている
- 指定した対象物とは異なるものが写っている
- ファイル名と参加者IDが対応していない
- 募集条件と参加者の属性が一致していない
- 特定の属性だけが必要数を超えている
- 説明や同意の不足によって研究利用できない
1万件を回収しても、不良、重複、条件違反、属性の偏りを除けば、有効データは大きく減る可能性があります。
データ収集の完了条件は、予定した件数を回収することではありません。研究条件を満たし、利用可能な状態へ整理された有効データが必要数そろうことです。
有効データ数から必要な募集人数を逆算する
必要なデータ数を、そのまま募集人数へ置き換えることはできません。検品で除外される割合や、途中離脱も考慮する必要があります。
例えば、2万枚の画像が必要で、一人当たり20枚を提出してもらうとします。すべて合格するなら1,000人ですが、有効データ率が80％なら、必要人数は約1,250人です。
必要データ数 ÷ 一人当たりの提出数 ÷ 有効データ率 ＝ 必要な参加者数
さらに、特定の年代や地域が不足する場合は、その区分だけ追加募集しなければなりません。再提出へ応じない参加者や、途中で作業を止める参加者もいます。
募集計画では、提出予定数ではなく、検品後に残る有効データ数から人数と期間を逆算します。
期限直前では短縮できない工程がある
研究費の執行期限や学会発表、実証実験の日程が近づいてから相談を受けることがあります。しかし、データ収集には、人数を増やすだけでは短縮できない工程があります。
- 収集条件と必要な属性を整理する
- 募集文と説明・同意事項を作る
- 少人数で試行する
- 問題を確認して撮影手順や質問文を修正する
- 本募集を行う
- 提出データを検品する
- 不備のある参加者へ再提出を依頼する
- 不足している属性を追加募集する
- データと参加者情報を整理して納品する
特に、募集、参加、検品、再提出には、人の都合に合わせた時間が必要です。短納期だからといって、説明、同意、検品を省略することはできません。
十分な期間があれば、一度目の試行で問題が見つかっても修正できます。期限が迫っていると、条件を緩めるか、必要件数を減らすか、研究計画自体を見直さなければならない場合があります。
倫理審査後では条件を変えにくいことがある
人を対象とする研究では、研究計画、募集方法、説明事項、取得する情報などについて倫理審査を受ける場合があります。
審査を終えた後に、必要な参加者が集まらないことが分かっても、対象属性、謝礼、撮影方法、収集項目などを自由に変更できるとは限りません。変更内容によっては、研究機関内で改めて確認が必要になる可能性があります。
倫理審査へ提出する前に収集可能性を確認すれば、募集条件や実施方法を現実的な形へ調整できます。
倫理審査の判断は各研究機関で異なりますが、データ収集会社へ早めに相談することで、実務上起こり得る問題を研究計画へ反映しやすくなります。
最初から完成した仕様書は必要ない
相談時点で、参加者数、撮影枚数、アノテーション項目、納品形式などがすべて決まっている必要はありません。
むしろ、仕様を確定する前に相談していただいた方が、収集方法を変更できる余地があります。
最初の相談では、次のような情報があれば、実施可能性を検討できます。
- 研究で明らかにしたいこと
- 必要になりそうな画像、音声、映像、文章など
- 想定している参加者の条件
- 一人当たりに依頼したい作業
- 必要なデータ数のおおよその規模
- 希望する時期
- 現時点で想定している予算
これらをもとに、集まりにくい条件、偏りやすい属性、検品で問題になりそうな点、必要な期間を整理します。
データセット制作は研究者と受託会社の共同作業になる
研究者は、研究目的と、どのようなデータが必要かを理解しています。一方、データ収集を運営する側は、参加者の集めやすさ、説明文の伝わり方、提出時に起きる問題、検品や再収集に必要な工程を把握しています。
どちらか一方だけで、実用的なデータセットを設計することは困難です。
研究者が持つ判断基準を、参加者や作業者が再現できる手順へ変える。試行で見つかった問題を研究者へ確認し、条件や見本を修正する。不足している属性を確認し、募集の配分を変える。
このようなやり取りを重ねながら、研究目的に合うデータセットを作ります。
データセット制作は、完成した仕様書を渡して終わる発注ではありません。研究者と制作側が二人三脚で進めるプロジェクトです。
研究テーマを決めた段階でご相談ください
株式会社イングクラウドでは、これまで画像、音声、対話、映像、アンケートなど、さまざまな研究・AI学習用データの収集と作成に対応してきました。
その中では、必要なデータが予定どおりに集まらず、研究計画の変更を迫られた研究者の相談を受けたこともあります。相談時には期限が迫り、条件を変える余地がほとんど残っていないケースもありました。
データが集まらない可能性は、募集を始めるまで気づきにくいものです。人数だけでなく、属性の組み合わせ、撮影環境、有効データ率、検品、再収集まで確認する必要があります。
研究テーマを決め、必要なデータを考え始めた段階でご相談いただければ、収集可能性を調査し、実現しやすい方法を一緒に検討できます。
まだ研究費が確定していない、倫理審査前である、必要人数が分からないという段階でも構いません。実際に募集できる条件なのか、どの程度の期間と予算が必要になりそうかを整理するところからお手伝いします。
RESEARCH & AI DATA FEASIBILITY
研究テーマを決めた段階でご相談ください
株式会社イングクラウドでは、研究参加者の条件、必要人数、撮影環境、データ数、期間などを確認し、収集可能性を無料で調査しています。仕様や予算が確定していない段階でも、集まりにくい条件や想定される工程を整理します。