NVIDIA Research 展示一段讚揚爵士樂與發源地紐奧良的短片,借助 3D MoMa 技術迅速將 2D 物件照片重建為三角網格格式

2022.06.22 02:48PM
照片中跟ti密有關,包含了3D建模、3D計算機圖形、3D建模、渲染圖、多邊形網格

國際電腦視覺與模式辨識會議 ( CVPR )將在 6 月底於美國紐奧良舉辦,紐澳良也同時是爵士樂的發源地, NVIDIA 預計在 CVRP 展示稱為 NVIDIA 3D MoMa 的真實物件快速轉換 3D 內容工具,也藉此利用 3D MoMa 創作一段讚揚爵士樂與紐奧良的短片。

NVIDIA Research 預計在台灣時間 6 月 23 日凌晨的 CVRP 大會公布 NVIDIA 3D MoMa 技術論文,同時 NVIDIA Research 也預計在 CVRP 公布高達 38 篇論文。

3D MoMa 是一種逆向渲染工具,旨在將靜態照片重新轉化為 3D 物件與場景, NVIDIA 3D MoMa 渲染結合新一代 AI 技術與 GPU 加速逆向渲染程序,得以快速產生 3D 物件,並透過既有工具進行匯入、編輯與擴展。

照片中包含了爬蟲、現代藝術博物館、圖形、3D建模、英偉達

▲三角網格是業界通用格式,故逆向渲染技術最好能夠直接完成三角網格重建

NVIDIA 強調, 3D 物件的型態需要能夠搭配遊戲引擎、 3D 建模器、電影渲染器等工具,才能使藝術家與工程師容易使用,故其形式是 3D 工具通用語言、帶有紋理材質的 Triangle Mesh 三角網格。不過傳統將真實物件轉化為三角網格需要使用複雜的攝影量測技術,並以大量時間與人力進行拍攝與轉換。

雖然近日借助神經輻射場域的研究成果,雖然能夠快速產生 3D 物件或場景,但其格式並非是業界通用的三角網格。此次將在 CVRP 發表技術論文的的 3D MoMa 技術,則是借助單一 NVIDIA Tensor Core GPU ,可在一個小時內產生三角網格模式,同時能直接套用在創作者的 3D 繪圖引擎與建模工具。

流程重建由三個特徵構成,包括 3D 網格模型、材質與光線;網格是由大量三角形構成的 3D 形狀紙糊模型,使開發者能藉由網格調整物件,再透過 2D 紋理如肌膚表層附加於 3D 網格顯示物體的材質特性,最後由光線呈現物體質感,而 NVIDIA 3d MoMa 可偵測並判斷場景打光,以利創作者在後期調整物件的光線。

照片中包含了小提琴、3D計算機圖形、圖形、英偉達、3D建模

▲將每個物件拍攝約百張平面照片,再透過 3D MoMa 進行三角網格重建

在此次 NVIDIA Research 的示範當中,由團隊蒐集包括小號、長號、薩克斯風、爵士鼓與單簧管等五種爵士樂器不同角度各約 100 張照片,在利用 3D MoMa 將這些 2D 平面照片進行三角網格重建轉換,完成這些 3D 模型後,創作團隊即可將這些物件匯入 NVIDIA Omniverse 3D 模擬平台進行編輯。

照片中提到了CHEATE、Lawake hadan、ด้ว,包含了遊戲、3D建模、圖形、軟件、即興創作

▲更換材質後,在虛擬場景的光線照射會呈現不同的質感

這些由 3D MoMa 完成建模的 3D 物件由於是使用高度通用性的三角網格格式,在任何傳統繪圖引擎皆可進行形狀與材質的改變,例如此次的小號原本是塑膠材質,但可在繪圖引擎當中迅速與黃金、大理石、木材與軟木取代;完成外型與材質編輯的 3D 物件即可匯入各類虛擬場景,此次 NVIDIA 團隊將這些 3D 樂器物件放置在經典圖形測試渲染品質的 Cornell Box 進行光線對物件的展演,反應這些具備不同材質特質的樂器在光線下的變化。

0 則回應

你可能有興趣的文章