國際電腦視覺與模式辨識會議 ( CVPR )將在 6 月底於美國紐奧良舉辦,紐澳良也同時是爵士樂的發源地, NVIDIA 預計在 CVRP 展示稱為 NVIDIA 3D MoMa 的真實物件快速轉換 3D 內容工具,也藉此利用 3D MoMa 創作一段讚揚爵士樂與紐奧良的短片。
NVIDIA Research 預計在台灣時間 6 月 23 日凌晨的 CVRP 大會公布 NVIDIA 3D MoMa 技術論文,同時 NVIDIA Research 也預計在 CVRP 公布高達 38 篇論文。
3D MoMa 是一種逆向渲染工具,旨在將靜態照片重新轉化為 3D 物件與場景, NVIDIA 3D MoMa 渲染結合新一代 AI 技術與 GPU 加速逆向渲染程序,得以快速產生 3D 物件,並透過既有工具進行匯入、編輯與擴展。

NVIDIA 強調, 3D 物件的型態需要能夠搭配遊戲引擎、 3D 建模器、電影渲染器等工具,才能使藝術家與工程師容易使用,故其形式是 3D 工具通用語言、帶有紋理材質的 Triangle Mesh 三角網格。不過傳統將真實物件轉化為三角網格需要使用複雜的攝影量測技術,並以大量時間與人力進行拍攝與轉換。
雖然近日借助神經輻射場域的研究成果,雖然能夠快速產生 3D 物件或場景,但其格式並非是業界通用的三角網格。此次將在 CVRP 發表技術論文的的 3D MoMa 技術,則是借助單一 NVIDIA Tensor Core GPU ,可在一個小時內產生三角網格模式,同時能直接套用在創作者的 3D 繪圖引擎與建模工具。
流程重建由三個特徵構成,包括 3D 網格模型、材質與光線;網格是由大量三角形構成的 3D 形狀紙糊模型,使開發者能藉由網格調整物件,再透過 2D 紋理如肌膚表層附加於 3D 網格顯示物體的材質特性,最後由光線呈現物體質感,而 NVIDIA 3d MoMa 可偵測並判斷場景打光,以利創作者在後期調整物件的光線。

在此次 NVIDIA Research 的示範當中,由團隊蒐集包括小號、長號、薩克斯風、爵士鼓與單簧管等五種爵士樂器不同角度各約 100 張照片,在利用 3D MoMa 將這些 2D 平面照片進行三角網格重建轉換,完成這些 3D 模型後,創作團隊即可將這些物件匯入 NVIDIA Omniverse 3D 模擬平台進行編輯。

這些由 3D MoMa 完成建模的 3D 物件由於是使用高度通用性的三角網格格式,在任何傳統繪圖引擎皆可進行形狀與材質的改變,例如此次的小號原本是塑膠材質,但可在繪圖引擎當中迅速與黃金、大理石、木材與軟木取代;完成外型與材質編輯的 3D 物件即可匯入各類虛擬場景,此次 NVIDIA 團隊將這些 3D 樂器物件放置在經典圖形測試渲染品質的 Cornell Box 進行光線對物件的展演,反應這些具備不同材質特質的樂器在光線下的變化。