高通已在多項個人裝置與物連網領域實現人工智慧商業化,並於MWC 2024展示Android手機與Windows PC的客製化多模態與大型視覺模型

2024.02.26 03:00PM

高通在MWC 2024的其中一項重點就是展現高通Snapdrgaon平台在包括下一代PC、智慧手機、軟體定義車輛、XR與物連網領域的大規模設備AI商業化,加速AI無所不在的世界,其中新世代的Snapdragon 8 Gen 3與Snapdragon X Elite平台更雙雙為智慧手機、PC奠定執行強大裝置端AI的基礎;高通強調透過在多個平台開放的Qualcomm AI Hub資源,能加速開發者為使用高通平台的終端導入AI功能,同時高通也展示旗下Qualcomm AI Reaseach於Android手機、Windows PC執行大型多模態模型與大型視覺模型的研究成果。

高通合作夥伴如小米、OPPO、榮耀等也在MWC展示基於Snapdraon 8 Gen 3的AI應用;同時高通也提供包括Snapdragon Digital Chassis、消費級物連網、結合AI的5G平台、5G AI基礎設施的技術展示。

為開發者提供預先最佳化的AI模型與生成式AI的Snapdrgaon AI Hub

▲Qualcomm AI Hub提供75種以上最佳化的AI模型,並透過AIE異構運算提升4倍推論性能

高通能夠與開發者在多項Snapdragon裝置大規模導入AI的關鍵,即是高通透過Qualcomm AI Hub提供預先優惠的AI模型資料庫,包含超過75項流行的AI與生成式AI模型,諸如Whisper、ControlNet、Stable Diffusion和Baichuan 7B等,在資料庫中的模型已針對各Snapdragon平台與終端的執行性能等條件預先最佳化,確保能使用較少的記憶體與更少的運算量執行。

同時這些預先最佳化的模型也針對高通的Snapdragon AI Engine(AIE)的硬體架構、包括NPU、CPU與GPU進行硬體加速,使推論時間較非異構執行提升4倍,開發者可藉此縮減開發時間,同時解放Snapdrgaon平台的潛力,借助裝置端執行AI,能夠提供即時性、可靠性、隱私、個人化與低成本的優勢;此外高通除了Qualcomm AI Hub外,也在GitHub、Hugging Face等平台提供這修最佳化的模型,使開發者ˋ可從多元管道取得資源。

高通AI Research在Android與Windows PC分別展示70億以上參數的多模態AI模型

▲高通在Android手機、Windows PC展示包括70億個參數的多模態模型、LoRA以及首個在Wondows PC執行結合聲音的的70億參數大型語言模型
▲高通展示在Android手機執行結合大型語言模型與大型視覺模型的多模態模型

雖然現在多家平台都強調其應用處理器能夠執行大型AI模型,不過能夠拿出實證以及支援才是重點;高通此次在MWC由旗下Qualcomm AI Research展示多項AI在終端的實證執行;其中高通於Android執行結合大型語言模型與視覺模型的大型多模態模型LLaVA,具備70億個以上參數,可輸入文字、圖像,透過AI助理進行多輪的相互對話,借助多模態模型,能夠識別與討論複雜的影像、物件與場景,同時借住在裝置端執行增強個人隱私、可靠性、個人化與降低成本。

▲LoRA將可應用於視覺的自訂藝術風格,也能使用在大型模型、個人化助理與增強語言翻譯

此外Qualcomm AI Research也在Android手機首度執行LoRA,透過LoRA執行穩定擴散,使用者可根據個人或藝術風格喜好創作高品質的自訂影像;藉由LoRA可降低訓練參數的數量,並提升裝置端產生AI使用案例的效率、可擴展性與自訂;LoRA除了能用於提供視覺化模型的不同藝術風格,還可廣泛應用在如大型語言模型、個人化助理與強化的語言翻譯等AI應用。

▲高通透過Snapdragon X Elite執行結合音訊的大型語言模型,可輸入文字或音訊產生相關的多輪對話

高通也在Windows PC裝置展示全球第1個結合聲音的70億參數以上的LLM大型語言模型,該大型語言模型能透過文字與聲音(如音樂、交通聲音),並產生多輪關於音訊的對話。

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
3 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
開箱評測
被評價為「每步都非常舒服」的恢復型拖鞋 2種熱賣的日常款比較
Gizmodo Japan
1 天前
文化創意
國家鐵道博物館第一階段開放 免費展區即有豐富內容、柴電工廠吸收新知
Chevelle.fu
21 個小時前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
10 天前
開箱評測
這麼薄卻可6裝置充電、總輸出達130W 這款Anker充電器規格簡直是拼命了
Gizmodo Japan
22 個小時前
開箱評測
可以與行李箱組合的三合一背包 我無法割捨Patagonia的理由
Gizmodo Japan
21 個小時前
產業消息
聯發科2025Q2手機營收佔52%預期旗艦天璣年內創造30億美金營收 首款2nm晶片維持9月設計定案
Chevelle.fu
1 天前
《奇妙之旅》家族競技展開 熱鬪場內容介紹
皮耶哈
15 年前