2026年10月2日
映像・音声・センサーの時刻をどうそろえる？マルチモーダル収集の同期設計
対話を映像と音声で記録し、視線や心拍も合わせて分析する場合、各機器の録画ボタンを同時に押すだけでは十分とは限りません。冒頭の手拍子が一致していても、終盤ではずれていることがあります。収集仕様では、必要な精度、収録中の確認方法、ずれたデータの扱いを先に決めます。 分析する出来事から必要な精度を決める 発話区間と話者映像の対応や数秒単位の行動区分では、まず区間同…
マルチモーダルデータ
-
-
2026年9月18日
音声AIの間違いに人はどう反応する？顔と声を記録したエラー反応データ
音声アシスタントが間違った答えを返しても、人は必ず「違います」と言うわけではありません。眉をひそめる、笑う、視線をそらす、黙る、質問を言い直す。返答自体がなければ、端末を見ながら待ったり、同じ呼びかけを繰り返したりします。 こうした利用者の反応をAIが読み取れれば、明示的に指摘される前に、自分の応答が失敗した可能性へ気づけるかもしれません。では、その学習用デ…