台灣Google工程師研發新廣角AI修正技術 Pixel手機拍攝人像更完美不變形

2019.06.25 02:56AM
是台灣Google工程師打造,讓手機拍攝廣角照片不再忍受邊緣變形問題這篇文章的首圖

Google最新的廣角修正技術是由三名台灣出身的工程師打造,將採用人工智慧進行影像分析,藉由將人臉,甚至身體涵蓋部分自影像中抽離,並且進梯度修正,相同情況也針對抽離人像之後的背景進行修正,後續再將兩組影像合併,成為背景歪曲被修正、人像部分也被修正的影像結果。

首圖

先前由帶領Google Camera功能研發的Marc Lavoy說明,Google如何在Pixel 3手機相機功能實現極端夜間拍攝,以及透過單顆鏡頭達成高解析度變焦效果之後,Google稍早更釋出預計在7月底於SIGGRAPH 2019具體說明的廣角修正技術,藉此說明如何讓時下手機流行採用廣角鏡頭實現更好的邊緣變形修正效果。

值得說明的是,此項技術更是由三名台灣出身的工程師打造,分別是施易昌 (YiChang Shih)、賴威昇 (Wei-Sheng Lai),以及梁家愷 (Chia-Kai Liang),三人均從台灣大學畢業,而施易昌更進一步在麻省理工學院獲得碩士、博士學位,並且曾在Adobe、Google、微軟等公司實習,賴威昇則分別在Adibe、NVIDIA與Google實習,目前在加州大學美熹德分校進修博士學位,至於梁家愷與施易昌目前則是Google資深軟體工程師。

依照三人提出論文內容,簡略描述當前多數針對廣角鏡頭進行修正的軟體演演算法,主要是以梯形修正為基礎,針對邊緣產生變形部分進行修正,在處理一般景象時候可能不會有太大問題,但是如果用在人像拍攝 (例如多人合影、多人自拍)等情況,很可能就會面臨人臉變形部分被修正,背後影像卻無法被正常修正,或是背景被正常修正,人臉卻維持扭曲情況。

因此在論文中提出技術便採用人工智慧進行影像分析,藉由將人臉,甚至身體涵蓋部分自影像中抽離,並且進梯度修正,相同情況也針對抽離人像之後的背景進行修正,後續再將兩組影像合併,成為背景歪曲被修正、人像部分也被修正的影像結果。

依照說明,這樣的演演算法可以對應70°至120°廣角範圍內的影像拍攝修正,而對於手機拍照使用廣角設計,其實也已經相當足夠。配合Pixel相機原本已經整合夜間拍攝、人臉識別 (包含側臉、長髮遮蔽、配戴眼鏡等情況),加上此項廣角拍攝修正技術,預期將能使手機拍攝功能更加「完美」。

不過,此項演演算法依然有其限制,就是目前修正範圍依然是以臉部為主,身體部份仍有可能受限演演算法,導致修正後變得「修長」,或是呈現些微扭曲,但預期日後加入更多演演算法修正,將能讓廣角拍攝應用更加完善。

除了應用在手機拍攝,此項技術預期也能應用在監控攝影機,或是自駕車、電腦視覺在內的影像識別判斷等領域,藉此降低識別判斷錯誤機率,另外也可能應用在Google Maps街景、360度環景影像或VR全息影像拍攝,藉此讓影像呈現效果更加擬真。

而此項演演算法,日後應該將會陸續開放Pixel系列機種更新使用,預期也會應用在即將推出的Pixel 4

是台灣Google工程師打造,讓手機拍攝廣角照片不再忍受邊緣變形問題這篇文章的第3圖

28 則回應

  • 然後Google在AR這塊對台灣品牌都超不友善 ARCore認證裝置Asus只有一點點 HTC直接不給半隻 這態度真的感受不到Goolge對台灣有甚麼善意
    2019-06-30
  • 美國只有美國利益。很正常。打擊所有擋住美國利益的。當然華為等都不例外。聽說之前也把日本台灣等打趴下。其他國家企業個人都只能是聽命美國,不然就如阿富汗,伊拉克等著被吊打。
    聽說Yahoo,Google ,Microsoft,iPhone, Facebook,Instagram ,Line,YouTube,Amazon 等都有後門提供給美國。也聽說台灣綠營在中華電信,,三立,民視,自由,中央社,大紀元,新頭殼,新唐人,上報等媒體偵查搜尋台灣住民的網路通訊。這世界應該是美國日本的間諜才是最厲害的。
    2019-06-26
  • 網美要哭了
    2019-06-26
  • 已經算很厲害了,不過要處理background景物也要同步修正,照片整體看起來比較不會奇怪,這對於人臉辨識,可增加可辨識度(進一步修正五官進行微處理)
    2019-06-26
  • 比起高大上的新算法,能不能先解決Google相冊無法全選照片然後刪除的問題?
    2019-06-26
    • 何小初 謝謝我再研究看看 👍
      2019-06-27
    • Michael Juang 可以全選一整個月份的照片,假設你遲了一年才發現,也就點十二次而已…
      2019-06-27
    • Himura Kenshin 我記得我試過 Shift 了,好像沒用⋯😢
      2019-06-26
    • 不是按shift嗎 差不多可以達到的效果 選第一張 shift 按最後一張
      2019-06-26
    • 我現在知道為什麼有小情侶自拍影片會外流了
      2019-06-26
    • Michael Juang 當初就可以設定不要自動備份==
      2019-06-26
    • 要針對自己搞不懂自己用的軟體有什麼功能的人錯用軟體發生的問題再增加一個功能去解決這個問題?
      2019-06-26
    • 我是認真懷疑 Google 相冊之所以那麼好康,可以無限上傳吃到飽,然後又不方便給用戶刪,目的就是為了蒐集海量照片做大數據分析和訓練AI辨識~
      2019-06-26
    • 其實他有問要不要自動備份,很多人看都不看就一路確定到底
      2019-06-26
    • 黃彥鈞 有些人可能不曉得 Google 相冊會自動上傳照片,等到發現自己有成千上萬張私密照片被備份到雲端,才發現竟然沒有全選刪除或一鍵清空的選項,就會很淦。
      2019-06-26
    • 沈致廷 其實我也沒指望子公司或母公司會解決。
      2019-06-26
    • 全選所有照片刪除嗎?這個需求好少見
      2019-06-26
    • Michael Juang 那是母公司處理的項目
      2019-06-26
  • 網美的腳要變短了
    2019-06-26
    • 有抖音長腿特效沒差 https://youtu.be/rWUwluyh3Jg
      2019-06-26
  • 網美的腳要變短了
    2019-06-26
  • 賴威昇則分別在Adibe.....
    Adibe 是哪家?
    2019-06-26
  • 不行啊,我們就是靠這些變形變瘦的,被你修回來了怎麼可以
    2019-06-26
    • James Chou 看人在鏡頭的哪邊啊,在中間當然是變胖
      2019-06-26
    • 廣角變形只會更胖不會瘦
      2019-06-26
  • 林逸宭 (Yich Lin)加油xdd
    2019-06-26
  • 以後人不正的問題就獲得解決了……(好像有點不對…)
    2019-06-26
  • 前鏡頭的廣角修正真的很厲害
    2019-06-26