NVIDIA 於 SIGGRAPH 2023 宣布為 NVIDIA Omniverse 平台進行重大升級,聚焦生成式 AI 與擴大 OpenUSD 生態系;在生成式 AI 領域更攜手同為 OpenUSD 格式主要倡議者的 Adobe ,將其 Adobe Firefly 人工智慧串接至 Omniverse ,同時包括 Cesium 、 Convai 、 Move AI 、 SideFX Houdini 、 Wonder Dynamic 也借助支援 OpenUSD 納入 Omniverse 平台。同時此次 Omniverse 平台更新當中,又以開發原生 OpenUSD 應用程式與擴充項目的 Omniverse Kit 引擎,以及 NVIDIA Omniverse Audio2Face 基礎應用程式與空間應用功能為兩大量點。
新版 Omniverse 已透過 Beta 版開放試用,並即將在 Omniverse Enterprise 提供。 Omniverse ( Beta )
Omniverse Kit 更容易管理且支援新一代 RTX 架構技術,提供可組裝 OpenUSD 大型場景可客製化參考應用程式與新增 Omniverse Audio2Face 語系與女性基礎模型
Omniverse Kit 在此次的升級後獲得多項功能性提升,其中新推出 Omniverse Kit Extension Registry 可用於存取、共享與管理 Omniverse 擴充項目的中央儲存庫,使開發者能藉此輕鬆開啟與關閉應用程式的功能,較過往更容易使用 NVIDIA 提供的 500 多項核心 Omniverse 擴充項目;此外全新應用程式的體驗範本可幫助開發者以最少的程式設計,即可上手使用 OpenUSD 與 Omniverse 平台;另外因應 Ada Lovelace 架構的 NVIDIA RTX GPU 推出, Omniverse RTX Renderer 也整合 DLSS3 技術,同時搭配全新的人工智慧降噪器因為工業場景與數位孿生的即時 4K 路徑追蹤。同時藉由全新 XR 開發工具,可將空間運算選項內建至 Omniverse 應用程式,提供更靈活的 3D 項目與虛擬世界探索方式。
針對創作者、企業與開發者, Omniverse 提供多項可供複製、擴充或增強的可客製化參考應用應用程式,此次也將其中多項參考應用程式進行升級,包括能使 3D 使用者組裝基於 OpenUSD 大型場景的 Omniverse USD Composer ,為可將自聲音檔案建立逼真臉部動畫與手式的 Omniverse Audio2Face 新添多種語言與女性基礎模型。
OpenUSD 擴大 Omniverse 生態系,並可建立相容於其它基於 OpenUSD 的空間運算平台
▲ OpenUSD 提供一個開源、通用且統一的通用場景敘述,使不同品牌、不同類型的應用程式得以進行協作
Omniverse 原本即是建構在 USD 格式,當 Pixar 進一步將 USD 開源為 OpenUSD ,以及由五大企業成立 AOUSD 組織倡議 OpenUSD 成為開源的通用場景敘述, NVIDIA 也在此次 Omniverse 改版為開發者、企業推出多款框架、資源與服務,進一步推動業界採用 OpenUSD 格式; NVIDIA 還開發多個 Omniverse Cloud API ,其中基於大型語言模型 LLM 技術的 ChatUSD 能協助開發者回答 USD 相關問題或產生 Python-USD 程式碼。同時由 OpenUSD 支援的 Omniverse 連接項目已開放使用,使工業領域的企業能藉此打破 3D 設計流程中複雜的數據孤島,以 OpenUSD 與 Omniverse 貫串相關工具。
另外, Adobe 也與 NVIDIA 擴大雙方於 Adobe Substance 3D 、生成式 AI 與 OpenUSD 的合作,並預計將 Adobe 的創意生成式 AI Adobe Firefly 作為 Omniverse 平台的 API ,使開發者與創作者能夠取用並增強設計流程。
在生態夥伴方面, Wonder Dynamic 現在透過 Wonder Studio AI 平台串接至 Omniverse ,並提供 OpenUSD 匯出支援功能,使 Wonder Studio AI 可將電腦生成的角色製作成動畫、光線處理與真實場景合成,藝術家利用 OpenUSD 匯出支援功能,即可從單一攝影機影片產生與匯出完整的 3D 場景; Luma AI 的 USDZ 格式實景建模現在可匯入 Omniverse 平台。虛擬角色公司 Convi 與角色引擎公司 Inworld AI 的工具亦可與 Omniverse 連接,使創作者能利用 Convai 一類的工具在數位孿生環境添加可提供與環境、物體有關資訊的角色,並應用於導覽或虛擬機器人; Move AI 則可透過 Move One 應用程式實現單鏡頭的角色動作捕捉,並匯出為 OpenUSD 格式後於 Omniverse 平台使用。
藉由 AOUSD 聯盟的成立,現在 Omniverse 使用者也可建立相容於其它 OpenUSD 的空間運算平台的內容、體驗與應用程式,並在如蘋果的 ARKit 或是 RealityKit 等使用;同時新加入支援 Khronos Group 的 OpenXR 開放標準,能使 Omniverse 支援至 HTC VIVE 、 Magic Leap 、 Vajio 等頭戴式裝置。
而 SideFX Houdini 的使用者現在可將 Houdini 數位資產匯入 Omniverse 的檢視畫面,使基於 Houdini 且與 Omniverse 串接的工作流更為流暢; Cesium 提供名為 Cesium for Omniverse 的擴充項目,可支援在虛擬環境以串流傳輸大量地圖空間資料集開放標準 3D Tiles ,其中也包括 OpenUSD 支援的資料集; CGI.Backgrounds 現在透過 USD Composer 提供多高超高清等級的 HDRi 地圖;另外現在 Omniverse 平台可使用 Cadence DataCenter Design Software ,在數位孿生環境中計算流體動力學模擬內容 ,在使用 Cadance 資料中心擴充項目時亦可在實行前規劃、測試與驗證設計與操作注意事項。 Blackshark.AI 的世界數位孿生平台也宣布可與 Omniverse 串聯。
多家客戶利用 Omniverse 進行機器人模擬、人工智慧訓練與製作動畫
Omniverse 簡化設計與內容創作產業過往需跨多個獨立軟體的程序,以 OpenUSD 格式與 Omniverse 連接器將多個業界重要應用程式連接,也幫助如工業設計、機器人設計、視覺製作等領域的用戶加速流程;如知名機器人公司波士頓動力工智慧研究所( Boston Dynamic AI Institute )即活用 Omniverse 模擬機器人與環境互動的情況;歐洲 Continental 集團利用 Omniverse 進行行動機器人業務的電腦視覺人工智慧模型訓練與執行系統整合測試; Volvo Cars 則將其數位孿生模型轉化為 OpenUSD 內容,結合 Omniverse 平台的視覺效果,幫助網路購車客戶能在逼真的環境挑選汽車;品牌設計與體驗代理商 Mark Design 則利用 Omniverse 與 OpenUSD 簡化協作與改善其動畫、可視化與渲染工作流程。