子どもが誰かと遊ぶとき、会話だけが起きているわけではありません。同じものを見る、相手の動きをまねる、順番を譲る、一緒に絵を描く、ときには相手を無視する。社会的な関係は、声、視線、身体の動き、物の操作が重なりながら変化します。

こうした行動をAIに学習させるには、短い指示課題だけでは足りません。一方で、「自由に遊んでください」と依頼するだけでは、参加者ごとに状況が変わりすぎて比較が難しくなります。

PInSoRoは、この問題に対して、遊び方は自由でありながら収録環境は再現できる「自由遊びのサンドボックス」を設計したデータセットです。子ども同士の遊びと、子ども・ロボットの遊びを記録し、社会的な関与がどのように生まれるかを調べられるようにしています。

本記事は、公開論文とデータセット公式情報をもとに、収録・アノテーション・データ管理の観点から内容を整理したものです。子どもを対象とする研究の倫理手続きや利用条件は、研究機関とデータ提供元の最新情報を必ず確認してください。

今回取り上げる論文とデータセット

The PInSoRo dataset: Supporting the data-driven study of child-child and child-robot social dynamicsは、Séverin Lemaignan氏らが2018年にPLOS ONEで発表した論文です。

データセットには、45組の子ども同士と30組の子ども・ロボットによる、合計45時間を超える相互作用が収録されています。映像、音声、顔の3次元情報、骨格情報、タッチテーブル上の操作履歴に加え、社会的行動の人手によるアノテーションが含まれます。

PInSoRo公式サイトでは、匿名化版とメタデータ、アノテーションの入手方法が案内されています。現在、完全版映像は倫理委員会の方針変更により配布されていないと明記されています。

子どもの自然な行動は、細かく指示すると消えてしまう

社会的な行動を研究するために、「相手を見てください」「順番に話してください」と細かく指示すると、その行動は記録しやすくなります。しかし、指示された視線や発話は、自然な関心や協力から生まれたものではありません。

反対に、何の枠組みもない場所で自由に遊んでもらうと、参加者ごとに使う物や移動範囲が変わり、カメラに映らない、行動を比較できないといった問題が起きます。

PInSoRoでは、大型の水平タッチスクリーンを二者の間に置き、その上で絵を描いたり、動物や人物などのアイテムを動かしたりできるようにしました。達成すべき課題や正解は設けず、遊び方は参加者に任せます。

つまり、行動を直接指示するのではなく、自然な相互作用が起きやすく、同時に収録しやすい環境を設計しています。

「自由」と「比較可能性」を両立させるサンドボックス

研究者はこの環境を、砂場になぞらえてサンドボックスと呼んでいます。砂場では遊び方は自由ですが、活動する範囲と使える素材はある程度決まっています。

PInSoRoも同様に、子どもは自由に遊べる一方、向かい合う位置、操作する画面、利用できるアイテムが共通しています。これにより、参加者ごとの個性を残しながら、セッション間で比較できる条件を作っています。

• 自由な発話や沈黙を妨げない
• 共同作業、模倣、競争、無関心など多様な行動が起きる
• 二者の顔と身体を安定して撮影できる
• 画面上の操作を時刻付きで記録できる
• 子ども同士と子ども・ロボットを近い条件で比較できる

データ収集では、参加者への指示文だけでなく、「どのような状況を用意すれば目的の行動が自然に起きるか」を設計することが重要です。

子ども同士と「社会的に反応しないロボット」を比べた

子ども・ロボット条件では、NAOロボットがタッチ画面上のアイテムを動かします。ただし、収録に使われたロボットは、意図的に社会的な反応をしないように設定されました。

ロボットは子どもへ視線を向けず、話しかけず、子どもからの働きかけにも反応しません。それでもゲーム上の物は操作します。

この条件は、「社会的な相手がいる状態」を再現するためではなく、社会的な応答がない場合の基準を作るためのものです。子ども同士の遊びと比較することで、視線、発話、模倣、共同注意などがどのように変わるかを調べられます。

AI研究では、高性能なモデルだけでなく、比較の基準となる条件を用意することが重要です。何もしない、反応しない、単純な規則だけで動く条件があることで、新しい方法が本当に社会的な相互作用を改善したのかを評価できます。

映像・音声・深度情報・操作履歴を同期する

PInSoRoでは、参加者それぞれの顔をRGB-Dカメラで撮影し、環境全体を別のカメラで記録しています。各参加者の音声、顔の三次元情報、骨格、タッチ画面上の操作も保存されます。

重要なのは、これらが同じ時間軸で対応していることです。子どもが画面上のアイテムを動かした直後に、相手がどこを見て、何を言い、身体をどう動かしたかを追える必要があります。

• 誰がいつ話したか
• 誰がどこを見ていたか
• 二人が同じ対象を見ていたか
• 画面上で誰が何を操作したか
• 相手の行動に続いて模倣が起きたか
• 一方が働きかけた後、もう一方が応答したか

個別のデータだけでは、「笑った」「画面を触った」という事実しか分かりません。複数の記録を同期することで、それが相手の発話への反応だったのか、ゲーム内の出来事への反応だったのかを分析できます。

社会的な関与を三つの軸でアノテーションした

論文では、自由遊び中の社会的相互作用を、主に三つの軸で符号化しています。

課題への関与

遊びや画面上の活動へ集中しているかを表します。ここで注意したいのは、課題から外れていることが、必ずしも社会的に関与していないことを意味しない点です。ゲームを止めて相手と話している場合、課題への関与は低くても社会的な関与は高い可能性があります。

社会的な関与

一人で遊ぶ、相手を見ながら並行して遊ぶ、働きかける、共同で遊ぶといった状態を時間単位で記録します。セッション全体へ一つの評価を付けるのではなく、遊び方が変化する過程を扱います。

社会的な態度

支援的、攻撃的、支配的、いら立っているといった、相手への態度を記録します。行動そのものと、その社会的な意味を分けて考える必要があるため、判断基準と具体例が重要になります。

この三軸を分けることで、「課題には集中しているが相手とは関わらない」「遊びから外れているが会話は盛り上がっている」といった状態を表現できます。

長い自由会話ほどアノテーション設計が難しい

PInSoRoのセッションは最長40分です。短いクリップと異なり、関係性が時間とともに変わります。最初は緊張して別々に遊んでいた二人が、途中から一緒に遊び始めることもあります。

長時間データでは、評価者がどの単位で判断するかを決めなければなりません。区間が短すぎれば判断回数が増え、長すぎれば変化が平均化されます。

また、同じ動作の意味は文脈で変わります。アイテムを取る行動も、協力の一部か、競争か、偶然かによって解釈が異なります。前後の映像、発話、操作履歴を確認できるアノテーション環境が必要です。

子どものデータは「匿名化すれば公開できる」とは限らない

子どもの映像や音声は、研究価値が高い一方、慎重な管理が必要です。顔や声は、それ自体が本人を識別し得る情報です。背景、会話内容、呼び名、学校や家族に関する発言から、個人が推測される可能性もあります。

PInSoRoは当初、保護手続きを経た研究者へ完全版を提供していました。しかし公式サイトでは、倫理委員会の方針変更により、現在は生の映像を含む完全版を配布できないと案内しています。

一方、映像を含まない匿名化版、メタデータ、アノテーションは提供されています。これは、研究データの共有可否が、収集時の同意だけで永久に固定されるわけではないことを示します。

• 誰がデータを利用できるか
• どの目的まで利用を認めるか
• 映像、音声、派生特徴のどこまで共有するか
• 利用者を審査し、記録するか
• 将来の方針変更や同意撤回へどう対応するか
• モデルや論文から個人が推測されるリスクをどう扱うか

公開データセットを作る場合、収集できるかだけでなく、数年後も適切に管理・提供できるかを研究計画の段階で検討する必要があります。

PInSoRoから学べるデータ設計

PInSoRoの面白さは、自由な行動と実験の再現性を対立させず、環境設計によって両立しようとした点にあります。

自然な相互作用を集めたいからといって、完全に自由な場所で撮影する必要はありません。参加者の動きを直接指示せず、目的の行動が起きやすい共通環境を用意する方法があります。

また、映像だけでなく、音声、深度情報、骨格、画面操作を同期し、課題への関与、社会的な関与、態度を分けてアノテーションしています。何を収録するかと、どの概念を正解データにするかが一体で設計されています。

子どもやロボットとの相互作用をAIへ学習させるには、単発の動作ラベルだけでなく、二者の関係が時間とともに変化する過程を記録する必要があります。PInSoRoは、そのための実験環境、計測、アノテーション、共有方法を考える具体例です。