対話を映像と音声で記録し、視線や心拍も合わせて分析する場合、各機器の録画ボタンを同時に押すだけでは十分とは限りません。冒頭の手拍子が一致していても、終盤ではずれていることがあります。収集仕様では、必要な精度、収録中の確認方法、ずれたデータの扱いを先に決めます。
分析する出来事から必要な精度を決める
発話区間と話者映像の対応や数秒単位の行動区分では、まず区間同士を取り違えないことが重要です。一方、口の動きと音声をフレーム単位で比べる、手と物体の接触時点を特定する、表情変化と発話内容を並べる場合は、より細かな対応が必要になり得ます。刺激提示と心拍・皮膚電気反応を結ぶ場合も、刺激を画面に表示した時刻と、刺激提示を指示した時刻を区別します。
「許容ずれは何ミリ秒か」を用途名だけで決めず、分析するイベントの長さ、動画のフレームレート、センサーのサンプリング周波数、評価者が見る単位から決めます。仕様書には比較する信号の組み合わせ、基準イベント、許容するずれの単位と値、測り方を記入します。必要なら「収録直後・中間・終了付近の各点で条件を満たす」と判定地点も指定します。
同じ時刻に始めることと、最後までそろうことは違う
「同期済み」の一語には、①収録開始操作が近い、②共通の時計や時刻基準を使う、③収録中の時間経過がそろう、④ファイル内のタイムスタンプを対応付けられる、⑤同じイベントを各記録で照合できる、⑥補正後の共通時間軸に載せた、という異なる状態があります。どこまで確認できたかを記録します。ファイルの作成日時が一致しても、実際の最初のフレームやサンプルの時刻は証明できません。
ずれは三種類に分けます。最初から一定の差がある開始オフセット、経過時間とともに差が増えるクロックドリフト、停止・再開、フレームやサンプルの欠落、ファイル分割で起こる途中の不連続です。冒頭一回の同期音はオフセットの手掛かりにはなりますが、ドリフトや途中の欠落は分かりません。Lab Streaming Layerの公式資料も、サンプルのタイムスタンプに加えて機器間の時計のずれを定期的に記録し、収録全体の情報を使って時刻を補正する方法を説明しています。
同期方法は記録できる証拠と一緒に選ぶ
| 方法 | 適する条件・限界 | 残す情報 |
|---|---|---|
| 同一機器・収録システム | 複数信号を同じ収録系で記録できる場合。内部でどの時計を使い、遅延や欠落をどう扱うかは確認が必要。 | 入力系統、設定、各信号の時刻基準 |
| 共通クロック | 複数の収録装置または信号取得系が同じ時間基準を共有する方法。各装置の同期状態を確認する。 | 基準の供給元、接続、ロック状態、再同期時刻 |
| タイムコード | 映像・音声などの記録へ対応付け用の時刻ラベルを付ける方法。ラベルの一致は撮像・標本化タイミングの物理的なロックを意味しない。カメラのジェンロックなどは別に確認する。 | コードの供給元、フレーム設定、記録先、連続性 |
| ネットワーク時刻 | 端末時計の差を抑える用途。通信遅延やアプリでの記録遅延まで保証しない。 | 時刻サーバー、同期状態、端末設定 |
| 機器のタイムスタンプ | フレーム・サンプルごとに時刻を得られる場合。別の時計を使うなら時計同士の対応も必要。 | 時刻の起点、単位、取得場所、欠落 |
| 同期音・同期光・手拍子・画面表示 | 共通イベントが双方の記録に残る場合。開始時だけでは長時間のドリフトを測れない。 | 実施位置、回数、各記録上の検出時刻 |
| 途中にも同期イベントを入れる | 開始・中間・終盤を照合できる。実験への刺激や作業の妨げにならない方法を選ぶ。 | 予定間隔、実施・失敗した回、時刻 |
| 収録後の波形・イベント照合 | 共通の特徴が十分残る場合に補正を検討できる。手掛かりのない区間や失われた信号は復元できない。 | 照合点、補正式、残った誤差 |
REDのタイムコード資料は時刻コードを映像管理のための情報として説明し、ジェンロック資料は撮像タイミングのロックを別に説明しています。また、NTPの仕様は時計のオフセットだけでなく通信遅延やジッターも扱います。どの方法でも、機器、アプリ、設定、保存形式、変換処理まで含めて結果を検証します。
機器表と収録ログを、パイロット前に作る
機器表はファイルの出所と時間軸をたどるための台帳です。セッションごとに次の欄を埋めます。
| 欄 | 記録する内容 |
|---|---|
| 対応関係 | データ種別、参加者ID、セッションID、機器ID、機器名・型番 |
| 収録環境 | OS・アプリ・ソフトの版、ファイル形式・コーデック、収録開始方法 |
| 信号の設定 | フレームレートまたはサンプリング周波数、固定・可変フレームレートの別 |
| 時計と時刻 | タイムスタンプの種類と起点、共通クロックの有無、端末時刻の設定方法、タイムゾーン |
| 分割・停止 | 自動分割、一時停止、バックグラウンド化の設定と発生時刻 |
パイロットは数分だけで済ませず、本番に近い長さ、端末数、参加者数で行います。開始直後・中間・終了付近の同じイベントについて各ファイルの時刻差を測り、差が増えるかを確認します。フレーム・サンプルの欠落、アプリのバックグラウンド化、一時停止、通信切断、自動分割後の連続性、電池低下や発熱の影響も試します。アップロード・変換後のファイルでも、時刻情報と長さが保たれるか再確認します。動画の各フレームを調べる方法はffprobeの公式資料にも示されています。
本収録の担当者は、セッション・参加者・機器ID、各記録の開始・終了時刻、同期イベントの実施時刻と回数、一時停止・再開、機器交換、アプリ停止、通信切断、再撮影・再収録と備考を残します。検品者は冒頭・中間・終盤で「基準イベントID、双方の時刻、ずれ、合否」を記録し、参加者や端末による偏りも見ます。ログに書いた壁時計時刻と、ファイル内の経過時刻は別欄にします。
補正できるずれと、再収集が必要な欠損を分ける
共通イベントから一定のオフセットが測れれば時刻を平行移動できます。ずれが一定割合で増える場合は複数の照合点から補正式を求め、補正後も別の点で誤差を検証します。途中に不連続があっても前後の対応を独立に確かめられるなら区間ごとに扱います。照合点のない区間は保留し、見た目だけでつなぎません。
基準イベントも信頼できる時刻情報もない、分析対象の瞬間にフレームやサンプルが欠けている、参加者・セッション・機器の対応が不明な場合は、推測で補わず除外または再収集を検討します。仕様書には、許容誤差を満たす「補正可能」、追加確認待ちの「保留」、用途に使えない「除外」、取得し直す「再収集」の判定条件と決裁先を書きます。
原本から納品まで、時間軸の変換をたどれるようにする
受領した原本は上書きせず、原本IDを付けます。同期補正後の作業用データ、実際にアノテーションしたデータ、納品用ファイルには別IDを付け、元ファイルID、補正値、変換式、処理ソフトと版、処理日時を結び付けます。注釈時刻が「原本内の経過時間」「補正後の共通時間」「個別ファイル内の時間」のどれかも指定します。BIDSのイベント時刻仕様が、イベントの開始時刻を対応するデータファイルに保存された最初のデータ点の取得開始からの秒数として定義しているように、時刻ゼロの意味を明記しなければ注釈は照合できません。
納品には、ファイルとセッションの対応表、共通時間軸の定義、各ファイルの開始オフセット、ドリフト補正の方法と有無、欠損・不連続区間、補正前後のID、注釈の時間基準、処理ソフトと版、検品結果、除外・再収集の記録を添えます。収録時にどこまで同期し、どこを後から補正したかが分かれば、研究者は必要な時間精度を満たすデータだけを選べます。
RESEARCH DATA SUPPORT
マルチモーダル収録の同期設計と検品をご相談いただけます
株式会社イングクラウドでは、研究・開発目的に合わせた映像・音声・センサー収録の作業指示、パイロット収集、参加者と機器の収録管理、同期ずれの確認、アノテーションと納品前検品をご相談いただけます。