仿生AI機器人的AI模型需要自真實世界的人類演示作為培訓資料,不過由於真實世界會有許多的變數,會有一部分的情況難以取得資料進行重現,但也往往成為機器人AI模型訓練的盲點;NVIDIA在CES 2025公布NVIDIA Isaac GROOT合成運動生成藍圖,能夠自真人演示擷取遠端遙控資料,並透過生成式AI產生大型合成軌跡資料庫,使機器人能夠在更豐富的真實與合成素材進行訓練與模擬。
NVIDIA Isaac GROOT是為了人形機器人開發提供基礎模型、資料管道與模擬框架的平台,而NVIDIA Isaac GROOT合成運動生成藍圖則是用於模仿學習的模擬工作流程,能夠以少量的真人演示產生豐富且高品質的合成資料。
▲NVIDIA Isaac GROOT合成運動生成藍圖的目的是將有限的資料透過生成式AI變成大量高品質的合成軌跡資料庫
NVIDIA也介紹了NVIDIA Isaac GROOT合成運動生成藍圖的工作流程;首先在初始的GR00T-Teleop流程包括兩階段,利用Apple Vision Pro搭配NVIDIA CloudXR作為擷取人類示範的資料來源,再利用Isaac XR Teleop將參考資料傳送到NVIDIA Isaac Sim、Isaac Lab或導出到其它平台;接著進入利用機器人學習的開源統一框架訓練機器人決策的Isaa Lab階段,並藉由GR00T-Mimic以這些真實資料產生大量的合成運動軌跡資料,在藉由GR00T-Gen將場景的變因如背景、光照等進行隨機化,而後透過NVIDIA Cosmos合成內容。