AMD技術長Mark Papermaster在接受Business Insider採訪時表示，AI推論正逐漸朝向邊際裝置、也就是手機與筆電的裝置端運算發展，也給了AMD反攻NVIDIA在AI主導的大好機會；無獨有偶，Intel前執行長Pat Gelsinger也在任內曾發表邊際推論是AI發展的未來趨勢的說法，但類似的說法其實也給人一種無論AMD、Intel在短時間內都無法在AI訓練與NVIDIA競爭的印象。
▲AMD持續在行動平台提供高性能的NPU與混合AI運算能力
Mark Papermaster認為由於資料中心為了能提供AI服務被迫不得不持續增加硬體採購成本下，勢必會希望把更多推論行為推廣到裝置端執行，藉此減少對伺服器的負擔；Mark Papermaster表示這也是AMD比起Intel、高通更注重AI PC的原因，像是Strix Point、Strix Halo都有出色的裝置端AI推論能力。他認為最終裝置端AI推論會成為AI市場的主流，只是他無法預測何時會發生，但他認為進展的速度相當快。
隨著AI模型因為微調與蒸餾技術，使得小規模參數的模型性能大幅提升，輔以裝置端NPU效能逐漸增加，當前在許多高階裝置已經能進行一定程度的AI推論應用，進一步減少對雲端推論基礎設施的要求；可以理解Mark Papermaster的論調是看好裝置端AI推論發展後能降低雲端、資料中心與服務業者採購推論伺服器的需求，並將重點放在能於裝置端執行的AI。
▲高通認為AI會維持混合式，裝置端AI並不會完全取代雲端AI
不過相對之下在微軟Copilot+ PC搶得先機的高通卻更聚焦在混合式AI推論，畢竟裝置端AI推論受限各種條件、不僅是運算性能，還包括像是系統配置的記憶體大小等，仍會限制可執行的模型參數大小，即便透過當前的蒸餾技術能提升小參數模型的性能，但相較同世代更大參數版本的模型的功能仍會有落差，故即便AI推論任務轉移到邊際端，只要未能解決成本問題，雲端AI推論仍難以被完全棄捨。
