「フィジカルAI」という言葉を見かける機会が増えました。しかし、フィジカルAIを開発するために、実際にはどのようなデータが必要なのかは、まだ分かりにくいところがあります。

ロボットへ話しかける音声や対話、周囲を認識する画像や3次元情報、人の動きを記録した映像、ロボットを遠隔操作した軌跡、物をつかんだときの力や触覚など、必要になるデータは一種類ではありません。

この記事では、フィジカルAIの意味を確認したうえで、現実世界を認識し、判断し、行動するために必要なデータセットを用途別に整理します。

フィジカルAIには、現時点で一つに統一された厳密な定義があるわけではありません。本記事では、センサーを通じて現実世界を認識・理解し、ロボットや機械による物理的な行動へつなげるAIを広くフィジカルAIとして扱います。

フィジカルAIとは何か

文章や画像を生成するAIの処理は、主としてデジタル空間の中で完結します。一方、フィジカルAIは、カメラ、マイク、距離センサーなどから現実世界の状態を受け取り、状況を理解し、移動、把持、運搬、操作などの行動へつなげます。

1. カメラや各種センサーで現実世界を観測する
2. 人、物、位置、状態、指示を認識する
3. 目的に応じて次の行動を計画する
4. ロボットや機械を制御して行動する
5. 行動後の結果を再び観測し、必要なら修正する

Google DeepMindのGemini Roboticsは、画像と言語を理解し、ロボットの行動を出力するVision-Language-Action（VLA）モデルとして紹介されています。同社は、実世界で役立つロボットには、異なる状況へ対応する汎用性、人の指示や環境変化へ反応する対話性、物を細かく扱う器用さが必要だと説明しています。

従来の産業用ロボットも物理的に動きますが、あらかじめ決められた位置と手順を繰り返すだけなら、必ずしも現在いわれるフィジカルAIと同じではありません。周囲の変化を認識し、初めて見る物や曖昧な指示にも対応しながら行動を調整する点が、近年のフィジカルAIで重視されています。

フィジカルAI用データセットは一種類ではない

フィジカルAIは、見る、聞く、空間を理解する、動く、触れる、結果を確かめるという複数の能力を組み合わせます。そのため、「ロボット用の動画を集めればよい」という単純な話ではありません。

1. 人の指示とロボットの行動を結ぶ対話データ

ロボットとの対話では、音声認識用の録音や文字起こしだけでは十分ではありません。「赤い箱を棚の上へ置いて」という発話が、どの箱を指し、どの棚へ、どのように置く行動につながったのかを対応付ける必要があります。

現実の指示には、「そこ」「もう少し右」「それではなく隣のもの」といった、その場の状況を見なければ解釈できない表現も含まれます。また、ロボットが対象を特定できない場合には、聞き返しや人からの訂正も必要です。

この種のデータセットでは、次の情報を同じ時刻軸で記録することが考えられます。

• 人の音声と文字起こし
• 発話時点のカメラ映像
• 指示の対象となった物体や場所
• ロボットが選択した行動
• 実行後の状態と成否
• 人による訂正、追加指示、停止指示

対話音声、映像、動作を組み合わせることで、言葉を物理的な行動へ結び付けるデータになります。

2. 周囲を見る画像・動画と空間認知データ

ロボットが動くには、画像に何が写っているかだけでなく、それぞれの物体がどこにあり、どの程度離れ、どちらを向いているかを理解する必要があります。

一般的な画像アノテーションで使われるバウンディングボックスやセグメンテーションに加え、深度画像、3D点群、カメラの位置・向き、複数カメラ間の対応、物体の3次元姿勢などが利用されます。

例えばコップを取る場合でも、コップを検出するだけでは動作できません。取っ手の位置、周囲の障害物、腕が通る経路、どの方向からつかめるかを判断する必要があります。Gemini Robotics-ERでも、2D・3Dの物体検出、画像上の点の対応、空間的な推論がロボット制御に必要な能力として示されています。

人が頭部や胸部にカメラを装着して撮影する一人称視点映像も、この領域で利用されます。Ego4Dは、多様な日常活動を一人称視点で記録した大規模な映像データセットです。このような映像は、人が何を見て、どの物へ手を伸ばし、どの順序で作業したかを研究する材料になります。

3. 人やロボットの動きを記録した軌跡データ

動画には動きが写りますが、映像だけから手先や関節の正確な位置を読み取るのは容易ではありません。ロボット学習では、カメラ映像と同時に、関節角度、手先の位置と回転、グリッパーの開閉、速度などを記録することがあります。

Open X-Embodimentは、複数の研究機関が保有する60のロボットデータセットを共通形式へまとめ、22種類のロボットによる100万件を超える実機軌跡を収録しています。ロボットの行動は、手先のXYZ座標、回転、グリッパーの開閉などで表現されています。

DROIDも、さまざまな環境や作業を対象に、ロボットを人が遠隔操作して収集した操作データセットです。このようなデータから、ロボットは「この映像と指示のときに、次にどの方向へどれだけ動いたか」を学びます。

人の作業映像とロボットの軌跡は、似ているようで異なります。人間とロボットでは身体の構造や動かせる範囲が違うため、人の動作を撮影しただけで、そのままロボットの制御データになるとは限りません。人の行動をロボットが実行可能な動きへ対応付ける処理が必要です。

4. 映像だけでは分からない力覚・触覚データ

柔らかい果物を持つ、布を引っ張る、部品を差し込むといった作業では、形や位置だけでなく力加減が重要です。強すぎれば壊れ、弱すぎれば落とします。

そこで、指やグリッパーが物へ触れた位置、加えた力、圧力の分布、滑り、トルクなどをセンサーで記録します。音も、部品が正しくはまったか、機械に異常がないかを判断する情報になる場合があります。

どのセンサーが必要かは作業によって異なります。硬い箱を移動する作業と、食品、衣類、植物を扱う作業では、必要な記録項目も変わります。

5. 成功だけでなく失敗と人の介入を記録する

完成した動作だけを集めても、ロボットは失敗からの戻り方を学びにくくなります。物を落とした、対象を取り違えた、途中で人が移動させた、指示が曖昧だったといった例も重要です。

データには、単なる成功・失敗だけでなく、どの時点で問題が起きたか、なぜ失敗したか、人がどのように修正したかを付与できます。

• タスク全体の成功・失敗
• 工程ごとの完了状態
• 誤認識、把持失敗、衝突などの失敗類型
• 人が操作を引き継いだ時点
• 修正後に成功したか
• 危険と判断して停止した場面

この部分には、人がAIの出力を確認し、必要に応じて介入するHuman-in-the-loopの考え方が関係します。人による評価や修正も、学習と運用のループを構成するデータです。

6. 実世界データとシミュレーションデータ

ロボットを実際に動かしてデータを集めるには、設備、場所、操作者、安全管理が必要です。事故や故障につながる危険場面、めったに起きない異常、天候や照明の多数の組合せを実環境だけで集めるのは困難です。

そのため、仮想環境でロボットを動かして作るシミュレーションデータや、生成AIで作る合成データも利用されます。NVIDIAの解説では、画像や動画だけでなく、深度、物体領域、表面方向などの正解情報を伴う合成データや、実世界では収集しにくい希少な場面の生成が挙げられています。

ただし、シミュレーションが現実を完全に再現できるとは限りません。現実の照明、摩擦、物体の個体差、人の予想外の行動などとのずれがあるため、実世界データによる確認と組み合わせる必要があります。

データセットはどのような単位で構成されるか

フィジカルAI用データでは、一つの作業を「エピソード」や「軌跡」といった単位で記録することがあります。例えば「机の上のコップを棚へ移す」という一回の試行に、次の情報を対応付けます。

重要なのは、映像、音声、センサー、動作が同じ時刻で対応していることです。ファイルが別々に存在していても、同期できなければ「この指示に対して、この状況で、この動作をした」という関係が分からなくなります。

人が作るデータはどこにあるのか

フィジカルAIというと、ロボット本体や高度なモデルへ注目が集まります。しかし、学習や評価に利用できる状態へデータを整える工程には、多くの人手が関わります。

• 作業者や研究参加者を条件に合わせて募集する
• 音声、動画、動作を指定された条件で収集する
• 物体、手、道具、作業工程へラベルを付ける
• 動作の開始・終了や失敗箇所を特定する
• 曖昧な指示に対する適切な行動を評価する
• 個人情報、第三者、機密物が写っていないか確認する
• 収集条件やアノテーションの不一致を検品する

ここは、従来の音声収録、対話データ作成、画像・動画収集、アノテーション、Human-in-the-loop型の評価と連続しています。フィジカルAI向けに必要な機器や専門仕様は案件ごとに異なりますが、人からデータを集め、仕様に沿って整理し、品質を確認するという基本構造は共通しています。

収集前に確認したい権利・安全・プライバシー

実世界を長時間撮影すると、本人の顔や声だけでなく、通行人、同僚、住所、位置情報、画面、書類、製造設備、企業秘密などが意図せず記録される可能性があります。

特にウェアラブルカメラは撮影範囲を予測しにくいため、撮影後の削除やぼかしだけに頼らず、撮影場所、対象、禁止事項、確認方法を収集前に決める必要があります。

• 何の研究・開発に利用するのか
• 撮影・記録する情報の種類
• データを誰へ提供し、どこまで公開するのか
• AIの学習や評価へ利用するか
• 保管期間と削除・撤回の条件
• 第三者や機密情報が入った場合の処理
• 危険な動作を伴う場合の停止基準

実世界へ働きかけるAIでは、学習データの品質だけでなく、収集作業そのものの安全性と、モデルが危険な行動を取らないための評価も必要です。

フィジカルAIの理解はデータを分解すると進む

フィジカルAIは、ロボットへ生成AIを搭載することだけを意味するものではありません。現実世界を観測し、言葉や空間を理解し、身体を動かし、その結果を受けて行動を修正する一連の仕組みです。

そこで必要になるデータも、画像や動画だけではありません。対話、3D空間、動作軌跡、力覚・触覚、成功と失敗、人の介入、シミュレーションなどが組み合わされます。

「フィジカルAI用データ」という大きな言葉のまま考えるより、AIに何を見せ、何を理解させ、どの行動を学ばせ、どう評価するのかへ分解すると、必要なデータセットと人が担う工程が見えやすくなります。