Google 提出多疊重現的沉浸光場影片格式 46 組相機完整記錄 3D 影像 壓縮後還可串流至手機等裝置

2020.07.14 11:23PM

Google以多疊重現的沉浸光場影片格式,透過46組相機設備捕捉光場影像資訊,並且透過機器學習等軟體技術重建可對應6自由度 (6DoF)觀看的立體影像,能保留真實影像視覺感受內容,例如在不同視角下的遠近感,以及行進間的視差感受,另外在光影折射表現也能完整還原。

首圖

藉此推動更多元的虛擬視覺應用

雖然去年宣布終止以多組攝影機拍攝360度環景影像的JUMP計畫,但顯然Google並未放棄拍攝立體影像的技術發展。在SIGGRAPH 2020所釋出技術白皮書內,Google提出以多疊重現的沉浸光場影片格式 (Immersive Light Field Video with a Layered Mesh Representation),透過46組相機設備捕捉光場影像資訊,並且透過機器學習等軟體技術重建可對應6自由度 (6DoF)觀看的立體影像。

koya light1 對影完整視覺感受,Google以46組相機完整記錄3D影像
由於採用光場影像記錄,因此將能保留真實影像視覺感受內容,例如在不同視角下的遠近感,以及行進間的視差感受,另外在光影折射表現也能完整還原。

整部拍攝裝置除了以46組相機設備構成,並且以每組相機間隔18公分形式構成直徑92公分的20面半球體,記錄視角則可達220度以上。而在拍攝過程中,將會進行影像壓縮及後續渲染處理,其中以DeepView類神經網路學習方式讓影像拼接變得更自然、正確。

l koya light2 對影完整視覺感受,Google以46組相機完整記錄3D影像

最後生成的多球狀影像 (MSI,Multi-sphere image),將會以100張以上的高解析度RGBA (RGB+Alpha)影像組成單一畫格內容,並且透過Layered Mesh (LM)格式壓縮,使最終生成影像能對應串流播放使用需求,藉此能串流至手機上播放觀看。

同時,因為壓縮後的檔案佔比相當小,因此可藉由串流形式傳送到手機、網頁,或是頭戴裝置上觀看,藉此推動更廣泛的虛擬視覺應用。

Tagged AI, AR, Google, Immersive Light Field Video with a Layered Mesh Representation, JUMP, SIGGRAPH, SIGGRAPH 2020, VR, 人工智慧

相關消息

遊戲天堂
FCC電檢照片顯示華碩將推出一黑一白兩款ROG Ally 2電競掌機,增強握柄人體工學、黑色機型可能為Xbox認證機型
Chevelle.fu
1 個月前
在地生活
吉伊卡哇廠商限定圖片外流 日方決定取消台灣訂單
討喜小姐
1 個月前
開箱評測
Cooler Master NCORE 100 Air直立式ITX風冷機殼評測,超小占地面積能容高規格系統的精緻機殼
Chevelle.fu
1 個月前
產業消息
Sony將在5月13日公布Xperia 1 VII,首支預告聚焦Alpha相機技術
Chevelle.fu
1 個月前
開箱評測
不想要耳塞 Sony無線降噪耳機折590元 平價降噪耳罩式耳機可選它
Tandee
1 個月前
產業消息
三星旗下HARMAN收購持有B&W、天龍馬蘭士的Sound United
Chevelle.fu
1 個月前
關於android播放3gp內含AAC無法撥放問題
hanawa
15 年前
人物專訪
GPS導航發明前計程車怎麼找路?以前載客常遇到霸王車、靈異事件?本篇就讓「老司機」親自說給你聽!
丹費特
1 個月前
遊戲天堂
吉伊卡哇袋著走聽見玩家心聲大更新 期待退坑玩家回流
討喜小姐
2 個月前