雖然高通在先前展是透過 Snapdragon 8 Gen 2 平台執行生成式 AI ，憑藉針對行動裝置算力調整過的 AI 模型，在不須透過連往、僅靠手機即可執行完整的 AI 畫圖，不過高通最新公布的一篇 OnQ 部落格則聲稱邊際裝置的 AI 勢必走向混合型，結合裝置運算與雲運算，能夠降低成本與提升效能，但同時確保個性化與安全隱私。
高通也在官網公布一份混合 AI 未來的白皮書，有興趣可以下載閱讀： The Future of AI is hybrid
混合式 AI 有助降低生成式 AI 時代應用的運算成本
高通認為終端裝置的邊際 AI 執行勢必邁入雲與裝置混合執行才能發揮最大效能，不會一味仰賴雲端處理，並強調導入混合 AI 架構將工作負載分散到裝置與雲運算有助於縮減成本，尤其當前熱門的生成式 AI 的搜尋較傳統的搜尋功能將產生 10 倍的成本，故結合裝置端 AI 運算與雲 AI 運算勢在必行。
終端可執行精簡版模型、再利用雲端執行的完整模型進行校錯
▲高通認為混合式 AI 能夠同步在雲與端執行，利用雲的完整 AI 模型為終端的精簡版 AI 校錯
高通認為，透過混合式 AI 架構，能夠依據模型與搜索的複雜度進行分配處理，若執行的模型較小、搜尋的關鍵詞意與產生的內容也較為單純，基本上即可使用現代化的高性能終端裝置在邊際上獨立執行，如果執行的任務複雜度高，則 AI 模型能夠跨裝置與雲端執行；且混合式 AI 甚至可允許終端裝置與雲端同時執行模型：裝置端執行輕量化模型、雲端執行完整的模型，在必要時用以輔助設備端的運算結果。
由於生成式 AI 蓬勃發展，裝置端的運算能力不斷提升，在先前高通 Snapdragon 8 Gen 2 執行的生成式 AI 模型已經包括 10 億個參數，並提供與雲端相近的精度與性能，高通確信不久的將來，裝置端將足以執行超過 100 億個參數的 AI 模型。高通認為混合式 AI 不僅適用於智慧手機，同時亦適用於筆電、擴增實境頭戴顯示器、汽車、物連網等
0 則回應