Google Camera極端夜景影像技術解密

2019.05.24 02:09AM
2104
是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的首圖

夜視拍攝功是透過Pixel Visual Core獨立影像運算元件縮短HDR+處理時間,讓Pixel 3在短時間內完成一般相機難以達成的極限夜間拍攝效果。不過獨立影像運算元件主要作用在於縮短HDR+處理時間,因此在Pixel 3a上的夜視拍攝功能整體處理時間會比Pixel 3長一些,但實際運作並沒有太大差異。

首圖

2017年提出以人工智慧技術讓手機相機可輕易拍攝夜間影像細節,並且大幅降低雜訊生成比例,讓當年推出的Pixel 2相機能有更好影像拍攝表現,並且進一步在去年推出的Pixel 3加入以人工智慧運算打造的高解析變焦與夜視拍攝功能

在此次台灣活動中,前身為VMware共同創辦人,同時從經創造Google Maps街景服務、Google圖書書籍掃瞄器,同時也曾負責帶領Jump光場相機計畫的Marc Lavoy,針對Pixel 3系列手機搭載的拍功能進一步作解析。

是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的首圖

依照Marc Lavoy的說法,Google Camera的設計雖然有不少比例是在軟體運算,但其實也有不少比例會建立在硬體配合之上,例如藉由雙像素對焦 (Dual Pixel)、光學防震、相機基本設計,甚至藉由VPU進行運算加速,不過更大重點還是建立在軟體運算、人工智慧等應用,藉此讓使用者能透過手機拍出滿意的影像呈現結果。

若從使用者透過手機相機取景拍攝預期需求來看,通常會希望在預設模式中,透過單次啟動快門過程即可在最短時間拍出令人滿意的照片,但其中必須解決複雜的快門速度、光圈、曝光值,以及是否產生晃動等影響,背後涉及相當複雜的運算,同時必須在150毫秒內完成拍攝,並且在5秒內完成照片儲存,其實會面臨困難挑戰。

是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的第3圖

帶領Google Camera功能研發的Google傑出工程師Marc Lavoy

以Google的作法,則是從軟體運算與人工智慧技術著手,除了持續透過大量照片數據進行學習,讓系統認知什麼是「好看」照片,藉此讓相機預設拍攝模式即可記錄正確色彩、曝光且清晰影像,並且透過15fps拍攝速度記錄多張影像,透過疊圖方式合併成為單張最佳影像結果。

而在Pixel 3搭載的高解析變焦功能,其實就是藉由人工智慧與感光元件上的像素接合應用,讓系統能透過機器學習判斷影像放大後的細節,藉此達成清晰的數位放大效果,而不會出現一般數位放大可能伴隨的格放現象。

在夜視拍攝功能部分,則是藉由與Intel合作的Pixel Visual Core獨立影像運算元件縮短HDR+處理時間,讓Pixel 3在短時間內完成一般相機難以達成的極限夜間拍攝效果。不過,Marc Lavoy說明Pixel Visual Core獨立影像運算元件主要作用在於縮短HDR+處理時間,因此在Pixel 3a上的夜視拍攝功能整體處理時間會比Pixel 3長一些,但實際運作並沒有太大差異。

至於確認夜視功能即便沒有Pixel Visual Core獨立影像運算元件輔助運算也能在Pixel 3a使用,是否意味Google也會將Google Camera內的夜視拍攝等功能開放給其他廠商使用,或是應用在AR、影像識別、機器學習等領域?就Marc Lavoy表示,確實有其可能性,但目前暫時還沒有此類計畫。

另外,對於透過手機拍攝產生影像,與傳統相機拍攝形成影像的差異,是否造成認知理解上的落差,導致人們對於影像表現結果產生不同需求,就Marc Lavoy看法則認為人眼對於影像原本就會有一定認知想像,對於色彩鮮豔、清晰影像原本就會有更高接受度,因此會持續讓Google Camera可以拍出等同人眼所見影像,甚至可以呈現更多影像細節。

是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的第4圖

HDR+是Google Camera重要功能之一,並且可應用在各類拍攝需求

是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的第5圖

應用機器學習的人工智慧技術也是Google Camera重點之一

是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的第6圖

雙像素對焦技術不僅可用於提昇拍攝快門速度,同時也能應用在景深判斷等拍攝需求

是訪談/Google Camera怎麼拍出極端夜景影像? 藉由人工智慧與硬體加持這篇文章的第7圖

夜景拍攝功能成為Pixel 3、Pixel 3a主打功能,讓使用者能輕易拍出極度夜景環境中的影像內容

回應 0