音声ファイルから発話を切り出し、文字起こしとラベルを付けて納品した後、元の収録に同意条件の相違が見つかったとします。納品ファイルだけでは、どの切り出しや注釈が影響を受けるか分かりません。収集時点から原本と各成果物の関係を記録しておけば、対象をたどって利用を止め、必要な版だけ作り直せます。

データの出所から、処理と利用先までをつなぐ

データプロベナンスは、取得元の名前だけでなく、データが何を入力として、どの処理によって、誰またはどのシステムの関与で作られたかを表す来歴です。W3CのPROV解説では、ファイルなどの「実体」、変換などの「活動」、人やソフトウェアなどの「関与者」、実体間の派生関係を区別します。本記事ではこれを、原本、加工結果、注釈、検品、納品版の対応表として扱います。表の項目やIDの書式はPROVが指定する必須様式ではなく、制作案件に合わせた設計例です。

たどりたいのは、収集元、適用した募集・同意・作業指示、収録した人や機器、処理前後のファイル、注釈者と検品者、除外・再取得の判断、納品・公開・学習・評価に使った版です。完成したデータセット全体の説明文とは別に、一つの原本から現在のファイルに至る経路を示します。

制作前に、識別子と対応表の単位を決める

次は音声と映像を収録する場合の仮のID例です。参加者の実名は別の管理領域に置き、台帳上は識別子で結びます。

RAW-101から切り出し版と匿名化版を別々に作る場合、出力IDも二つ必要です。DER-205のように複数入力を使う場合、処理IDにすべての入力IDを関連付けます。ファイル名の末尾に「修正版2」と足すだけでは、一対多・多対一の関係や注釈だけの差し戻しを表せません。実体をIDで管理し、別の処理台帳に「入力ID、活動ID、出力ID」を複数行で保存します。

収集と受領の時点で原本を特定する

収集ログには案件ID、参加者ID、セッションID、日時と必要な地域情報、機器・アプリ・設定、募集条件と割付、実施した作業指示の版、説明・同意の版と取得状況、担当者IDを残します。中断、再撮影・再収録、機器交換もイベントとして記録します。端末時刻と実際の収録開始時刻を混同しないよう、時刻の基準も決めます。

受領時には元ファイル名、形式、サイズ、受領担当者、受領日時、ハッシュ値、欠損・破損・対象外・重複の判定を原本IDへ結びます。USGSのチェックサム照合例のように、受領時と転送後の値を比べればファイルの同一性を検査できます。ただし、ハッシュ値だけでは収録条件や同意の有無は分かりません。位置情報や参加者の連絡先など、追跡のため内部で必要な情報と納品・公開する情報は分けます。

加工・注釈・検品を、それぞれ別の処理として記録する

形式変換、切り出し、匿名化・マスキング、ノイズ処理、同期補正では、処理IDごとに入力IDと出力ID、方法、ツール・スクリプト・モデルの名称と版、設定、実行日時、自動処理か人手か、作業者・確認者IDを記録します。文字起こしとラベル付けには対象ファイルID、適用した仕様書・注釈ガイドの版、個々の注釈IDを付けます。裁定後の確定値も、評価者別の元判定とは別の出力として結びます。

検品では、確認対象ID、検査基準の版、合否と理由、指摘箇所、差し戻し先、修正前後のID、再検査結果を残します。一つの区間だけ誤ラベルなら注釈の修正版を作り、元のラベルと原本を上書きしません。後から「この値は誰の判定で、どの修正を経て確定したか」を確認でき、別の区間まで処理し直す必要があるかも判断できます。W3C PROVのデータモデルも、改訂によって生じた版を別の実体として関係付ける考え方を示しています。

利用条件は、ファイルを選別できる項目にする

参加者・取得元ごとに、適用した同意文書または契約・利用条件のIDと版を原本IDへ結びます。研究利用、商用利用、追加学習、第三者提供、一般公開、保存期限、削除依頼への対応など、案件で確認した区分を台帳に設けます。同じ案件でも利用範囲が異なる場合は、フォルダ名だけで分けず、納品・公開・学習への投入前に条件に合うIDだけを抽出し、派生物にも元データの条件を照合します。NIHのデータ管理・共有計画の案内にも、同意や契約が共有範囲を制限し得る例が示されています。個別の可否は、実際の同意・契約内容を確認して記録します。

後から見つかった問題は、派生先と配布先までたどる

参加辞退や同意撤回、権利上の問題、個人情報の残存、誤ラベル、重複、破損が判明したら、問題の原本IDまたは注釈IDを起点に、加工版、別担当者の注釈、分割済みのファイル、納品版・公開版まで派生関係を検索します。原本だけを削除すると、切り出しや匿名化後のコピーが残るおそれがあります。

対象ごとに「利用停止」「確認のため保留」「削除」「修正・再作成」を判断し、既納品先と公開版を照合します。実施日、対象ID、判断理由、担当者、削除・訂正の実施結果を記録し、件数や学習・評価の分割に生じた変更を新版へ反映します。旧版には影響範囲を注記します。Research Data Allianceのデータ版管理報告も、派生関係が直線的とは限らず、公開版の変更内容を伝える必要があると述べています。履歴は目的に応じてアクセス権と保存期限を定め、削除対象そのものを無期限に保存する前提にはしません。

納品物と一緒に、再確認できる範囲の来歴を渡す

納品時はデータ本体に加え、納品版IDとファイル一覧、原本・加工物・注釈のID対応表、収集条件と適用した指示書の版、処理ツールと設定・版、裁定・検品・再検査の履歴、除外・欠損・再取得の一覧、利用条件の区分、分割と生成条件、納品版の変更履歴をそろえます。受領時の記録がない事項は「確認できない」と示します。どの原本からどの納品ファイルができたかを発注者が逆引きできるか、引き渡し前に一件を選んで試します。

参加者の実名や作業者の連絡先まで渡す必要はありません。納品先が追跡に使うIDと、内部でのみ保持する本人確認・詳細ログの対応を分け、後日の訂正や照会の担当窓口を決めます。データセット全体の説明文へ記した収集・加工方法も、この個別履歴に戻って確認できる状態にします。