以高通 Snapdragon 8 Gen 2 的圖像即時語意分割解釋 AI 如何藉由理解圖像內容進行增強

2023.03.29 02:20PM
照片中提到了Snapdragon 8 Gen 2、Snapdragon、8,包含了顯示裝置、高通金魚草、高通公司、數字信號處理器、顯示裝置

現在許多智慧手機都會強調具備基於 AI 的影像增強技術,高通在 2022 年末發表 Snapdragon 8 Gen 2 時,在影像技術部分介紹了稱為「圖像即時語意分割」的影像強化技術,這項功能也將自搭載 Snapdrgaon 8 Gen 2 的旗艦機開始導入並帶來更出色的影像強化效果,也勢必會成為這些智慧手機的相機主打功能,不過圖像即時語意分割相較於先前的 AI 場景判斷增強到底有哪些差別?接下來就簡單地進行解釋。

基於圖像物件與場景辨識的 AI 技術在智慧手機的相機功能已經不是新鮮的應用,這樣的功能源自於以文字以及語言辨識的 AI 功能;如同人類的大腦一樣,圖像物件與場景辨識 AI 在看到一幅圖片時,會試圖在腦中透過文字敘述拆解要素,而在較初期的手機 AI 影像增強當中,由於礙於初期智慧手機的 AI 算力,僅會針對圖像進行場景判斷,再自資料庫當中符合該場景的影像特性進行強化。

雖然 Snapdragon 8 Gen 2 仍採用 3 ISP 架構以及支援 3 鏡頭同步的 30 幀圖像處理,看似與 Snapdragon 8 Gen 1 的規格相近,然而 Snapdragon 8 Gen 2 最大的殺手鐧在於支援透過語意識別拆解為 8 層的圖像即時語意分割功能。

▲圖像即時語意分割即是將輸入的圖像進行拆解,當前 Snapdrgaon 8 Gen 2 最多可即時拆解為 8 層、範例中的圖像則被拆解為 6 層元素

對比以單一場景進行判讀的影像增強,一但可將圖像即時分為最多 8 層進行處理,意味著最多可將一張原始圖像的內容拆解出 8 種不同的元素並各別進行增強;因為僅透過場景進行判斷時,不見得能符合該原始圖像所具備的不同元素,在一張看似日常的人像照片,除了人物以外,還包括如植物、花卉、陰天等不同的元素,若以單一處理方式套用,就會產生顧此失彼的情況。

借助高達 8 層的圖像即時語意分割,能進一步將一張原始圖像以場景、人物、物件等拆分並進行增強,最後再把處理後的圖像合併輸出成照片,相較以往僅以單一情境進行增強的作法能夠使最終的照片更為出色。這也意味著即便是搭配相同的感光元件, Snapdragon 8 Gen 2 平台最終呈現的照片效果勢必會比起使用 Snapdragon 8 Gen 1 平台有更好的效果。

▲要呈現最佳的圖片效果就需要對不同的構成元素進行處理,就如同專業影像工作者修片一樣

其實即時語意分割處理就猶如專業影像工作者進行照片後製一般,人類在進行專業照片後製處理時,也會將圖片中的元素在腦中進行拆解,同時再依照個人判斷逐一進行包括色彩、對比、飽和度等的處理,只不過目前手機能夠一次處理的元素限制在 8 層,但卻能夠在按下手機快門時就同步處理完成,不須在拍攝後耗時處理。

放眼未來,在手機行動運算平台的 AI 效能勢必會進一步增強,例如高通在 MWC 公布透過 Snapdragon 8 Gen 2 執行的 AI 繪圖,扣除由於手機運算效能線制的影像解析度,當能在手機執行的自然語意辨識一但能夠自物件與場景的理解到理解字串,勢必對於手機的影像增強有更大的幫助,因為這表示即時語氣分割能夠把構成元素進一步細分與處理。