Google Camera極端夜景影像技術解密 #Pixel (144045)

是訪談／Google Camera怎麼拍出極端夜景影像？藉由人工智慧與硬體加持這篇文章的首圖

夜視拍攝功是透過Pixel Visual Core獨立影像運算元件縮短HDR+處理時間，讓Pixel 3在短時間內完成一般相機難以達成的極限夜間拍攝效果。不過獨立影像運算元件主要作用在於縮短HDR+處理時間，因此在Pixel 3a上的夜視拍攝功能整體處理時間會比Pixel 3長一些，但實際運作並沒有太大差異。

2017年提出以人工智慧技術讓手機相機可輕易拍攝夜間影像細節，並且大幅降低雜訊生成比例，讓當年推出的Pixel 2相機能有更好影像拍攝表現，並且進一步在去年推出的Pixel 3加入以人工智慧運算打造的高解析變焦與夜視拍攝功能。

在此次台灣活動中，前身為VMware共同創辦人，同時從經創造Google Maps街景服務、Google圖書書籍掃瞄器，同時也曾負責帶領Jump光場相機計畫的Marc Lavoy，針對Pixel 3系列手機搭載的拍功能進一步作解析。

依照Marc Lavoy的說法，Google Camera的設計雖然有不少比例是在軟體運算，但其實也有不少比例會建立在硬體配合之上，例如藉由雙像素對焦 (Dual Pixel)、光學防震、相機基本設計，甚至藉由VPU進行運算加速，不過更大重點還是建立在軟體運算、人工智慧等應用，藉此讓使用者能透過手機拍出滿意的影像呈現結果。

若從使用者透過手機相機取景拍攝預期需求來看，通常會希望在預設模式中，透過單次啟動快門過程即可在最短時間拍出令人滿意的照片，但其中必須解決複雜的快門速度、光圈、曝光值，以及是否產生晃動等影響，背後涉及相當複雜的運算，同時必須在150毫秒內完成拍攝，並且在5秒內完成照片儲存，其實會面臨困難挑戰。

帶領Google Camera功能研發的Google傑出工程師Marc Lavoy

以Google的作法，則是從軟體運算與人工智慧技術著手，除了持續透過大量照片數據進行學習，讓系統認知什麼是「好看」照片，藉此讓相機預設拍攝模式即可記錄正確色彩、曝光且清晰影像，並且透過15fps拍攝速度記錄多張影像，透過疊圖方式合併成為單張最佳影像結果。

而在Pixel 3搭載的高解析變焦功能，其實就是藉由人工智慧與感光元件上的像素接合應用，讓系統能透過機器學習判斷影像放大後的細節，藉此達成清晰的數位放大效果，而不會出現一般數位放大可能伴隨的格放現象。

在夜視拍攝功能部分，則是藉由與Intel合作的Pixel Visual Core獨立影像運算元件縮短HDR+處理時間，讓Pixel 3在短時間內完成一般相機難以達成的極限夜間拍攝效果。不過，Marc Lavoy說明Pixel Visual Core獨立影像運算元件主要作用在於縮短HDR+處理時間，因此在Pixel 3a上的夜視拍攝功能整體處理時間會比Pixel 3長一些，但實際運作並沒有太大差異。

至於確認夜視功能即便沒有Pixel Visual Core獨立影像運算元件輔助運算也能在Pixel 3a使用，是否意味Google也會將Google Camera內的夜視拍攝等功能開放給其他廠商使用，或是應用在AR、影像識別、機器學習等領域？就Marc Lavoy表示，確實有其可能性，但目前暫時還沒有此類計畫。

另外，對於透過手機拍攝產生影像，與傳統相機拍攝形成影像的差異，是否造成認知理解上的落差，導致人們對於影像表現結果產生不同需求，就Marc Lavoy看法則認為人眼對於影像原本就會有一定認知想像，對於色彩鮮豔、清晰影像原本就會有更高接受度，因此會持續讓Google Camera可以拍出等同人眼所見影像，甚至可以呈現更多影像細節。