台灣Google工程師研發新廣角AI修正技術 Pixel手機拍攝人像更完美不變形

先前由帶領Google Camera功能研發的Marc Lavoy說明，Google如何在Pixel 3手機相機功能實現極端夜間拍攝，以及透過單顆鏡頭達成高解析度變焦效果之後，Google稍早更釋出預計在7月底於SIGGRAPH 2019具體說明的廣角修正技術，藉此說明如何讓時下手機流行採用廣角鏡頭實現更好的邊緣變形修正效果。

值得說明的是，此項技術更是由三名台灣出身的工程師打造，分別是施易昌 (YiChang Shih)、賴威昇 (Wei-Sheng Lai)，以及梁家愷 (Chia-Kai Liang)，三人均從台灣大學畢業，而施易昌更進一步在麻省理工學院獲得碩士、博士學位，並且曾在Adobe、Google、微軟等公司實習，賴威昇則分別在Adibe、NVIDIA與Google實習，目前在加州大學美熹德分校進修博士學位，至於梁家愷與施易昌目前則是Google資深軟體工程師。

依照三人提出論文內容，簡略描述當前多數針對廣角鏡頭進行修正的軟體演演算法，主要是以梯形修正為基礎，針對邊緣產生變形部分進行修正，在處理一般景象時候可能不會有太大問題，但是如果用在人像拍攝 (例如多人合影、多人自拍)等情況，很可能就會面臨人臉變形部分被修正，背後影像卻無法被正常修正，或是背景被正常修正，人臉卻維持扭曲情況。

因此在論文中提出技術便採用人工智慧進行影像分析，藉由將人臉，甚至身體涵蓋部分自影像中抽離，並且進梯度修正，相同情況也針對抽離人像之後的背景進行修正，後續再將兩組影像合併，成為背景歪曲被修正、人像部分也被修正的影像結果。

依照說明，這樣的演演算法可以對應70°至120°廣角範圍內的影像拍攝修正，而對於手機拍照使用廣角設計，其實也已經相當足夠。配合Pixel相機原本已經整合夜間拍攝、人臉識別 (包含側臉、長髮遮蔽、配戴眼鏡等情況)，加上此項廣角拍攝修正技術，預期將能使手機拍攝功能更加「完美」。

不過，此項演演算法依然有其限制，就是目前修正範圍依然是以臉部為主，身體部份仍有可能受限演演算法，導致修正後變得「修長」，或是呈現些微扭曲，但預期日後加入更多演演算法修正，將能讓廣角拍攝應用更加完善。

除了應用在手機拍攝，此項技術預期也能應用在監控攝影機，或是自駕車、電腦視覺在內的影像識別判斷等領域，藉此降低識別判斷錯誤機率，另外也可能應用在Google Maps街景、360度環景影像或VR全息影像拍攝，藉此讓影像呈現效果更加擬真。

而此項演演算法，日後應該將會陸續開放Pixel系列機種更新使用，預期也會應用在即將推出的Pixel 4。