NVIDIA 的 NVIDIA Omniverse 是新一代模擬環境平台,能夠用於協作、環境模擬、虛擬訓練等多種情境,而 NVIDIA 宣布基於 Omniverse 環境的機器人開發與訓練平台 NVIDIA Isaac Sim 進入公開測試階段,能夠藉由 Omniverse 打造逼真的環境,同時簡化合成資料與領域特性隨機化,使訓練用的虛擬環境可具備更貼近真實世界的環境資料,藉此訓練用於物流、倉庫到未來工廠等領域用的機器人。
Isaac Sim 是作為機器人模擬應用程式與產生合成資料的工具,藉由 Omniverse 強大且逼真的虛擬空間建構能力,使在虛擬機器人能夠藉由 Isaac Sim 模擬與環境互動,甚至可產生超越現實環境所遇到的情況與還原真實環境難以重現的情境,能夠更有效率的訓練與測試機器人的結構與 AI 。
▲此版本 Issa Sim 提供更多種感測器的支援
此次新版的 Issac Si, 還加入多攝影機、魚眼攝影機、 ROS 2 與如超音波感測器、力度感測器、客製化光達等感測器的資源,並提供 PTC OnShape CAD 匯入器,使開發者更容易匯入 3D 資產,並藉此擴大機器人與環境的範圍,作為實體機器人在虛擬環境中的設計、開發、訓練,並在逼真的數位孿生環境進行模擬與測試,使開發者先行於虛擬環境完成絕多數的開發、測試與訓練,減少實體原型的生產與除錯。
▲在虛擬環境中進行真實合成資料,能夠重現真實環境難以取得的稀有資料
相對傳統的數位孿生模擬環境,建構在 Ominverse 的 Issac Sim 可突破傳統模擬環境所不能達到的逼真性,像是透過 Pjysx 5 所提供的 GPU 物理模擬,藉由即時光線追蹤與路徑追蹤營造的逼真畫面,與支援材質定義語言 MDL 所建構符合物理條件的渲染畫面;同時, Issac Sim 還可提供廣泛應用項目的模組化設計,包括操作、自主導航與產生合成訓練資料。輔以 Omniverse Nucleus 、 Omniverse Connectors ,透過通用場景描述 USD 以協作的方式建立、分享與匯入環境與機器人模型,同時透過 Issac SDK 與 ROS 、ROS2 結合 Python 腳本、匯入機器人與環境模型的外掛,將機器人的系統與虛擬環境進行串接。
而建構在 Omniverse 的 Issac Sim 最重要的是能夠使用產生合成資料,畢竟藉由真實環境取得的資料並加上正確標記相當費時與困難,而在訓練機器人的過程有許多的條件又難以在真實世界順利產生或是具備高度風險,此次的公開測試版本即可藉由 KITTI 格式輸出合成資料,並可搭配 NVIDIA 遷徙學習工具套件搭配特定案例資料提升模型訓練的效率。
此次公開測試版本另一個重要的功能則是域隨機化,所謂的域隨機化即是改變如照明、顏色、紋理等定義場景的環境參數,使虛擬環境能夠產生多種變化性,有助在訓練機器人模型時提昇訓練成果,目前可提供包括顏色、移動、比例、照明、紋理、材質、網格、可視性與旋轉等隨機調整的參數,使用者在此版本可定義一個進行隨機化的區域,僅需在場景沿著想進行隨機化區域劃出方框,方框以外的區域就不會產生隨機化。