XRでロボットの学習データをつくる ― フィジカルAI

XRでロボットの学習データをつくる ― フィジカルAI
ロボットに作業を覚えさせるためには、多くの動作データが必要になります。
一方で、実機を使ったデータ収集には、ロボット本体や作業環境の準備、破損や摩耗への配慮など、さまざまなハードルがあります。
ナレッジワークスでは、こうしたフィジカルAI開発におけるデータ生成の方法として、XRとデジタルツインを組み合わせたアプローチを試しています。
XR Kaigi 2026では、その取り組みを体験いただけるデモを展示します。
XRから、仮想空間のヒューマノイドロボットを操作
今回のデモでは、XRデバイスを装着したオペレーターが、デジタルツイン環境上のヒューマノイドロボットを操作します。
XRデバイスのコントローラーと仮想空間上のロボットを連携させ、人が行った操作をロボットの動作として反映します。
XRデバイスを装着したオペレーターが、デジタルツイン環境上のヒューマノイドロボットを操作デモでは、仮想空間内の机に置かれた棒を掴み、指定されたカゴへ移動させる一連の動作を体験します。
仮想空間上でヒューマノイドロボットが対象物を操作するデモ画面人が直感的に行った操作をデータとして取得することで、プログラムだけでは定義しにくい動きや、対象物に応じたハンドリングなどを、ロボットの学習データとして活用することを想定しています。
実機を用意する前から、動作を試せる
このアプローチの特徴の一つは、実機ロボットを先行導入しなくても、仮想空間上で動作を検証できることです。
NVIDIA Isaac Sim上に構築した環境であれば、実機や物理的な作業環境を破損・摩耗させることなく、さまざまな操作を試すことができます。
フィジカルAIの検討初期から、どのような作業をさせたいのか、どのような操作データが必要になるのかを試しながら、学習データの生成につなげることができます。
人の動きを、ロボットの学習データへ
ロボットに求められる作業は、単純な位置移動だけとは限りません。
物を掴む、持ち上げる、向きを変える、決められた位置へ置く。
こうした人にとって自然な動作も、ロボットに学習させるためにはデータとして扱う必要があり、XRを使って仮想空間上のロボットを直感的に操作することで、対象物やタスクに応じた学習データの収集につなげます。
XRは「見るための技術」だけではない
XRというと、現実空間に情報を表示したり、仮想空間を体験したりする技術をイメージすることが多いかもしれません。
一方で、フィジカルAIの分野では、XRを人とロボットをつなぐインターフェースとして使うことで、新しい活用方法が生まれます。
人が行う操作をXRを通して取得し、シミュレーション環境上でロボットの動きとして扱う。
今回のデモでは、そんな「XRをロボットの学習に使う」という可能性をご紹介します。
XR Kaigi 2026で実際にご覧いただけます
今回ご紹介したフィジカルAIのデモは、XR Kaigi 2026のナレッジワークスブースで実際にご覧いただけます。
XRとデジタルツイン、ロボティクスを組み合わせることで何ができるのか。
ロボット導入前の検証や学習データ生成にご興味のある方はもちろん、新しいXRの活用方法に興味のある方も、ぜひブースへお立ち寄りください。
開催概要
イベント名
XR Kaigi 2026
展示期間
2026年12月1日(火)10:00〜18:00
2026年12月2日(水)10:00〜17:00
会場
東京ポートシティ竹芝
東京都立産業貿易センター浜松町館
ナレッジワークス ブース
3F展示室 ブース3-25
関連ニュース
CONTACT
まずはお気軽にご相談ください。
事例に近いお悩みがあれば、どんな小さなご相談でも大丈夫です。

