顔画像の収集作業では、同じ人を正面、左右、上下から撮影したり、マスクを替えて何度も撮影したりすることがあります。参加者から見ると、「なぜ同じような写真を何枚も撮るのか」が分かりにくい作業です。

この記事では、すでに公開されている論文をもとに、顔画像がどのような研究に使われ、なぜ角度、照明、表情などの条件を変えて収集するのかを紹介します。

本記事で紹介する論文・データセットは、当社が受託した個別案件や現在募集中の案件との関係を示すものではありません。同種のデータが研究でどのように利用されているかを知っていただくための一般的な例です。

顔画像を集める研究は顔認証だけではない

角度・照明・表情を変える理由

顔は同じ人物でも、撮影条件によって大きく見え方が変わります。正面画像だけで学習・評価したシステムが、横顔、暗い場所、数か月後の撮影でも正しく動くとは限りません。

Multi-PIEの論文では、337人を最大4回、15台のカメラと18の照明条件で撮影し、75万枚を超える画像を収録しました。複数の角度、照明、表情、撮影時期を組み合わせ、条件の変化が顔認識へ与える影響を比較できるようにしています。

ここから分かるのは、「一人につき何枚」という枚数だけではデータの価値を説明できないことです。同じ人について条件を体系的に変えることで、どの条件に弱いかを評価できます。

化粧前後の顔画像で外見の変化を調べる

同じ人の顔でも、化粧によって目元、眉、唇、肌の色や質感などの見え方は変わります。そのため、化粧前後の顔画像は、顔認識システムが外見の変化にどこまで対応できるかを調べる研究に使われています。

Can Facial Cosmetics Affect the Matching Accuracy of Face Recognition Systems?では、YouTubeの化粧動画から、論文中でCaucasian femaleとされた99人について、化粧前後の顔画像を集めたYouTube MakeUp（YMU）データベースを構築しています。基本構成は一人につき化粧前2枚、化粧後2枚で、薄い化粧から濃い化粧まで含まれていました。

実験では、化粧前同士、化粧後同士、化粧前と化粧後という組合せで顔照合の精度を比較しています。その結果、化粧前と化粧後を照合する条件では、同じ化粧条件の画像を照合する場合より認識が難しくなることが示されました。

このような研究では、単に多くの顔写真を集めるのではなく、同じ人について条件を変えた画像を対応付けることが重要です。参加者から新たに収集する場合は、化粧前後の画像を同じ参加者IDで管理し、撮影角度や照明など、化粧以外の条件が大きく変わらないように設計します。何を比較したいかによって、化粧の種類や濃さまで記録するかどうかも変わります。

マスクで顔の一部が隠れる場合

マスクを着けると、鼻や口元など顔認識に使われる情報の一部が見えなくなります。そのため、同じ参加者についてマスクあり・なしを撮影し、精度の変化を調べる研究があります。

Masked Face Recognition Datasets and Validationでは、マスク顔認識用データセットと評価方法を検討しています。マスクの種類、着用状態、顔の向きなどを変えるのは、現実の利用場面に近い条件を作るためです。

写真やスマートフォン画面によるなりすましを見分ける

顔認証では、本人の顔写真を印刷した紙や、本人の動画を表示したスマートフォンをカメラへ見せる攻撃が考えられます。そこで、生身の人物と写真・画面表示を区別する「顔なりすまし検知」が研究されています。

A Dataset and Benchmark for Large-Scale Multi-Modal Face Anti-Spoofingでは、通常のRGB画像だけでなく、深度や赤外線など複数種類の情報を利用しています。

この研究では、「顔写真を撮る」だけでなく、本物の撮影と攻撃を再現した撮影を対応させる必要があります。印刷状態、表示端末、照明、距離などもデータの条件になります。

スマートフォンをどこから見ているか調べる

顔画像は本人確認だけでなく、視線の推定にも使われます。視線推定では、参加者に画面上の決められた位置を見てもらい、そのときの顔や目の画像と正解位置を記録します。

GazeCaptureの論文では、スマートフォンやタブレットを利用して多数の参加者からデータを集め、モバイル端末上での視線推定を研究しています。

参加者には単純な作業に見えても、「どの点を見ていたか」という正解情報と顔画像を対応させることで、モデルの学習・評価に利用できます。

属性を分けて集める理由

顔画像データが一部の年代や属性に偏ると、その集団ではよく動いても、別の集団で精度が低下する可能性があります。そのため、年齢層、性別、肌の見え方、眼鏡の有無などを確認し、構成を調整することがあります。

属性を収集すればよいのではなく、なぜ必要か、どの粒度で取得するか、公開時に残すかを先に決めます。希少な属性の組合せは本人を推測する材料にもなるため、研究上の必要性とプライバシーを両方確認します。

研究目的から撮影仕様を決める

顔画像収集では、総枚数より先に研究で比較したい条件を決めます。

• 必要な参加者数と一人当たりの撮影枚数
• 正面、左右、上下などの角度
• 照明、背景、距離、カメラ端末
• 表情、マスク、眼鏡などの条件
• 同一人物を別の日にも撮影するか
• 顔の範囲や特徴点をアノテーションするか
• 学習用・検証用を人物単位で分けるか

同じ人物の画像が学習用と評価用の両方へ入ると、未知の人物に対する性能を正しく評価できない場合があります。収集時の参加者IDと、データ分割の設計も重要です。

参加者が確認したいこと

顔画像が何の研究に利用され得るかを知ることと、個別案件の利用条件を確認することは別です。参加するときは、利用目的、提供先、保管期間、顔画像自体の公開有無、AI学習への利用、撤回可能な期間を募集要項と同意事項で確認します。

顔画像の研究には、認識、表情、視線、なりすまし検知などさまざまな目的があります。目的を理解すると、同じ写真を複数条件で撮影する理由も見えやすくなります。