高通認為邊際裝置的 AI 將會走向終端與雲混合執行,有助節省成本、提升算力並確保個人化與安全隱私

2023.05.16 03:05PM

雖然高通在先前展是透過 Snapdragon 8 Gen 2 平台執行生成式 AI ,憑藉針對行動裝置算力調整過的 AI 模型,在不須透過連往、僅靠手機即可執行完整的 AI 畫圖,不過高通最新公布的一篇 OnQ 部落格則聲稱邊際裝置的 AI 勢必走向混合型,結合裝置運算與雲運算,能夠降低成本與提升效能,但同時確保個性化與安全隱私。

高通也在官網公布一份混合 AI 未來的白皮書,有興趣可以下載閱讀: The Future of AI is hybrid

混合式 AI 有助降低生成式 AI 時代應用的運算成本

高通認為終端裝置的邊際 AI 執行勢必邁入雲與裝置混合執行才能發揮最大效能,不會一味仰賴雲端處理,並強調導入混合 AI 架構將工作負載分散到裝置與雲運算有助於縮減成本,尤其當前熱門的生成式 AI 的搜尋較傳統的搜尋功能將產生 10 倍的成本,故結合裝置端 AI 運算與雲 AI 運算勢在必行。

終端可執行精簡版模型、再利用雲端執行的完整模型進行校錯

▲高通認為混合式 AI 能夠同步在雲與端執行,利用雲的完整 AI 模型為終端的精簡版 AI 校錯

高通認為,透過混合式 AI 架構,能夠依據模型與搜索的複雜度進行分配處理,若執行的模型較小、搜尋的關鍵詞意與產生的內容也較為單純,基本上即可使用現代化的高性能終端裝置在邊際上獨立執行,如果執行的任務複雜度高,則 AI 模型能夠跨裝置與雲端執行;且混合式 AI 甚至可允許終端裝置與雲端同時執行模型:裝置端執行輕量化模型、雲端執行完整的模型,在必要時用以輔助設備端的運算結果。

由於生成式 AI 蓬勃發展,裝置端的運算能力不斷提升,在先前高通 Snapdragon 8 Gen 2 執行的生成式 AI 模型已經包括 10 億個參數,並提供與雲端相近的精度與性能,高通確信不久的將來,裝置端將足以執行超過 100 億個參數的 AI 模型。高通認為混合式 AI 不僅適用於智慧手機,同時亦適用於筆電、擴增實境頭戴顯示器、汽車、物連網等

資料來源

相關消息

新品資訊
一圖看懂 Panasonic 日本製 IH 調理爐:光火力感應控溫黑科技,開啟AI智慧烹飪新時代
癮特務
4 天前
新品資訊
Tesla 人形機器人 Optimus 面臨生產瓶頸 問題在模仿人類的手部設計
Mash Yang
20 個小時前
開箱評測
藍牙體脂計675元 可量測14種身體數據並搭配手機記錄 最多可12人共用
Tandee
12 個小時前
開箱評測
寶可夢傳說Z-A同捆機少量店家開放預購 目前預購價為15990元
Tandee
9 個小時前
雲端服務
AI 智轉百業賦能企業,2025 Google Cloud Summit Taipei 引領最新生成式 AI 應用
癮特務
10 天前
新奇搞笑
Wi-Fi 有機會成為一種無影像的新型監控方式
Twelve
2 天前
【好簡單】HTC Tattoo 智慧型手機簡單玩
annti wang
15 年前
科技應用
網路檔案館正式成為美國聯邦政府文件指定圖書館
Mash Yang
20 個小時前
科技應用
加州新勞工法案難落實 Uber 執行長認為合作司機更看重工作自由度 也是 Uber 服務的主要動力
Mash Yang
4 年前