
Arm持續攜手Meta使Arm CPU加速與擴展最新Llama 3.2大型語言模型推論能力
大型語言模型LLM是目前生成式AI發展的關鍵,隨著裝置端AI的需求出現,使得邊際裝置也需具備一定大型語言模型的執行能力,其中由Meta推出的開源大型語言模型LLM由於提供多元參數大小,被廣泛的應用於雲端與裝置端AI;作為提供自行動裝置、PC與伺服器CPU架構的Arm長期與Meta合作,宣布強化Arm CPU執行Llama 3.2 LLM的能力,整合開源創新與Arm於運算平台優勢,使各種基於Arm CPU的裝置都能流暢的執行不同大小的Llama 3.2語言模型推論。 ▲透過與Meta緊密的合作,使Arm CPU能夠於執行大型語言模型推論完整發揮效能 Llama 3.2 LLM提供廣泛的參數,其中
10 個月前