セミナー/イベント情報ロボット教示データ生成「XRツルハシ」

XRでロボットの学習データをつくる ― フィジカルAI

XRでロボットの学習データをつくる ― フィジカルAI

ロボットに作業を覚えさせるためには、多くの動作データが必要になります。
一方で、実機を使ったデータ収集には、ロボット本体や作業環境の準備、破損や摩耗への配慮など、さまざまなハードルがあります。
ナレッジワークスでは、こうしたフィジカルAI開発におけるデータ生成の方法として、XRとデジタルツインを組み合わせたアプローチを試しています。

XR Kaigi 2026では、その取り組みを体験いただけるデモを展示します。

XRから、仮想空間のヒューマノイドロボットを操作

今回のデモでは、XRデバイスを装着したオペレーターが、デジタルツイン環境上のヒューマノイドロボットを操作します。

XRデバイスのコントローラーと仮想空間上のロボットを連携させ、人が行った操作をロボットの動作として反映します。

XRデバイスを装着したオペレーターが、デジタルツイン環境上のヒューマノイドロボットを操作

デモでは、仮想空間内の机に置かれた棒を掴み、指定されたカゴへ移動させる一連の動作を体験します。

仮想空間上でヒューマノイドロボットが対象物を操作するデモ画面

人が直感的に行った操作をデータとして取得することで、プログラムだけでは定義しにくい動きや、対象物に応じたハンドリングなどを、ロボットの学習データとして活用することを想定しています。

実機を用意する前から、動作を試せる

このアプローチの特徴の一つは、実機ロボットを先行導入しなくても、仮想空間上で動作を検証できることです。
NVIDIA Isaac Sim上に構築した環境であれば、実機や物理的な作業環境を破損・摩耗させることなく、さまざまな操作を試すことができます。
フィジカルAIの検討初期から、どのような作業をさせたいのか、どのような操作データが必要になるのかを試しながら、学習データの生成につなげることができます。

人の動きを、ロボットの学習データへ

ロボットに求められる作業は、単純な位置移動だけとは限りません。

物を掴む、持ち上げる、向きを変える、決められた位置へ置く。

こうした人にとって自然な動作も、ロボットに学習させるためにはデータとして扱う必要があり、XRを使って仮想空間上のロボットを直感的に操作することで、対象物やタスクに応じた学習データの収集につなげます。

XRは「見るための技術」だけではない

XRというと、現実空間に情報を表示したり、仮想空間を体験したりする技術をイメージすることが多いかもしれません。
一方で、フィジカルAIの分野では、XRを人とロボットをつなぐインターフェースとして使うことで、新しい活用方法が生まれます。
人が行う操作をXRを通して取得し、シミュレーション環境上でロボットの動きとして扱う。

今回のデモでは、そんな「XRをロボットの学習に使う」という可能性をご紹介します。

XR Kaigi 2026で実際にご覧いただけます

今回ご紹介したフィジカルAIのデモは、XR Kaigi 2026のナレッジワークスブースで実際にご覧いただけます。
XRとデジタルツイン、ロボティクスを組み合わせることで何ができるのか。
ロボット導入前の検証や学習データ生成にご興味のある方はもちろん、新しいXRの活用方法に興味のある方も、ぜひブースへお立ち寄りください。

開催概要

イベント名
XR Kaigi 2026

展示期間
2026年12月1日(火)10:00〜18:00
2026年12月2日(水)10:00〜17:00

会場
東京ポートシティ竹芝
東京都立産業貿易センター浜松町館

ナレッジワークス ブース
3F展示室 ブース3-25