邊際運算全攻略 (131286) - Cool3c

最新 | 熱門

AMD技術長認為裝置端AI推論是AMD能挑戰NVIDIA在AI領先地位的機會

AMD技術長Mark Papermaster在接受Business Insider採訪時表示，AI推論正逐漸朝向邊際裝置、也就是手機與筆電的裝置端運算發展，也給了AMD反攻NVIDIA在AI主導的大好機會；無獨有偶，Intel前執行長Pat Gelsinger也在任內曾發表邊際推論是AI發展的未來趨勢的說法，但類似的說法其實也給人一種無論AMD、Intel在短時間內都無法在AI訓練與NVIDIA競爭的印象。 ▲AMD持續在行動平台提供高性能的NPU與混合AI運算能力 Mark Papermaster認為由於資料中心為了能提供AI服務被迫不得不持續增加硬體採購成本下，勢必會希望把更多推論行為推廣

Chevelle.fu

高通為嵌入式物聯網產品啟用Dragonwing品牌，與Snapdragon技術同源放眼專業邊際AI領域

高通在2025年的Embedded World宣布為嵌入式物聯網產品啟用全新Dragonwing品牌，強調承襲高通40年網通技術經驗與Snapdragon長期在運算的技術，並輔以高通於邊際AI技術以及混合AI蓋瑱，為嵌入式領域挹注邊際AI技術，高通強調高通不僅是提供晶片，而是提供包含軟、硬體的完整生態系。 ▲高通為台灣與正體中文開發者提供在地化的開發資源 ▲Qualcomm AI Hub可協助AI應用開發者投入開發與導入預訓練的AI模型 ▲高通台灣工程人員也協助將台灣在地化的TAIDE模型導入Qualcomm AI Hub ▲強調高通迅速在Windows on Snapdragon平台獲得成果

Chevelle.fu

聯發科公布支援生成式AI的物聯網邊際運算平台Genio 720、Genio 520，可藉NVIDIA TAO工具支援廣泛AI模型

聯發科於德國紐倫堡的Embedded World 2025宣布新一代高效能邊際AI物聯網平台Genio 720與Genio 520，強調為智慧家庭、智慧零售、工業與商用物聯網所設計，除了具備高速、低功耗的運算能力與支援先進多媒體功能外，藉由整合10TOPS算力的AI加速架構，還可實現邊際執行的生成式AI應用，同時藉由與NVIDIA的戰略合作，Genio 720與Genio 520可透過NVIDIA TAO工具套件與其它主流AI模型整合至邊際AI應用。 Genio 720與Genio 520平台預計於2025年第二季送樣，由聯發科合作夥伴開發基於Genio 720與Genio 520的OSM方案

Chevelle.fu

NVIDIA與軟銀於NVIDIA AI日本高峰會宣布多項AI計畫，加速推動日本AI強國願景

NVIDIA與軟體銀行集團Softbank於NVIDIA AI日本高峰會共同宣誓推動日本成為AI強國願景，軟銀將導入NVIDIA Blackwell架構及Grace Blackwell Superchip打造日本最強大的AI超級電腦，並用於多項建置主權AI的計畫；此外軟銀也導入NVIDIA AI Aerial打造全球首個上線的5G AI-RAN，還有透過NVIDIA AI Enterprise建構AI市集，滿足日本對本地安全AI的需求。 NVIDIA執行長黃仁勳於NVIDIA AI日本高峰會(NVIDIA AI Japan Summit)主題演講宣布軟體銀行正使用Blackwell架構的NVI

Chevelle.fu

高通攜手Mistral AI為高通邊際AI運算平台打造全新生成式AI模型

高通在2024年Snapdragon高峰會宣布與Mistral AI合作，為廣泛的高通Snapdragon邊際AI運算平台，將Mistral 3B與Mistral 8B模型最佳化，使其能於Snapdragon 8 Elite、Snapdragon Cockpit Elite、Snapdragon Ride Elite及Snapdragon X Elite平台執行。目前Mistral 7B v0.3已經於高通Qualcomm AI Hub上架，Mistral 3B與Mitral 8B將於近期推出。 ▲Mistral AI甫推出的Mistral 3B與Mistral 8B模型相當適合在邊際裝置執行

Chevelle.fu

高通2024年Snapdragon高峰會觀察，不再強調裝置端AI算力與可執行模型大小背後的意涵

在2023年的高通Snapdragon高峰會，高通介紹Snapdragon 8 Gen 3時，特別聚焦在AI算力與可執行的模型大小，藉此強調是足以在裝置端執行生成式AI的平台，而緊接在後的聯發科天璣9300發表會也不認輸的公布比高通更高的數據；事隔一年，高通新一代旗艦平台Snapdragon 8 Elite雖然同樣聚焦在邊際AI，但卻未刻意公布AI性能與可執行的模型規模，而是著重在溝通能夠以低延遲的方式執行多模態模型(LMM)。 ▲高通2023年發表Snapdragon 8 Gen 3時還特別強調能執行10B參數模型，但Snapdragon 8 Elite發表卻未提及能執行的模型大小會有這樣

Chevelle.fu

照片中跟Kubernetes有關，包含了英偉達微服務、英偉達、微服務、英偉達、圖形處理單元

NVIDIA推出Mistral-NeMo-Minitron 8B語言模型，僅有80億參數規模但精度不遜120億版本

現在在邊際裝置執行大型語言模型的困難是參數規模，理論上相同技術但參數越大具備更優異的精確度與性能，不過考慮到邊際裝置的運算性能、記憶體等條件，又需要在規模與性能取捨；NVIDIA繼2024年7月攜手Mistral AI公布開源Mistral NeMo 12B模型後，再度推出以其為基礎精簡的Mistral-NeMo-Minitron 8B，雖然參數規模自120億縮減至80億，但精度與性能毫不遜色，足以於NVIDIA RTX技術驅動的工作站執行聊天機器人、虛擬助理、內容生成等應用。此外，對於希冀在算力與記憶體更有限的設備執行特定功能的邊際運算生成式AI，如智慧手機、機器人、嵌入式平台執行更小規模

Chevelle.fu

照片中提到了AMD Kria™ System-on-、Modules、Accelerating Innovation at the Edge，跟Advanced Micro Devices公司、Advanced Micro Devices公司有關，包含了微控制器、模組上系統、電子產品、Zynq、AMD公司

AMD以Kria SOM實現物聯網邊際裝置的分散式運算，提供視覺AI、機器人與驅動器三大套件

物聯網裝置的智慧化是現在產業的趨勢，不過為了實現智慧化，要處理來自大量感測器的資訊就變得不容易，是故目前對於物聯網的運算主要分為全雲端、全邊際與混合運算三大類，全雲端的問題是資料傳輸成本與延遲，全邊際則會對裝置有更高的運算需求，是故折衷的混合運算就是取得成本與性能平衡的好選擇；AMD也為了邊際混合運算的分散式運算模式提供Kira SOM產品線，強調AMD Kira入門套件均事先通過認證，可執行如AWS IoT Greengrass與Azura IoT Edge等主流IoT管理系統，並提供視覺AI、機器人、驅動器三大類開發套件。 AMD Kira入門套件強調具備開箱即用的開發者平台，雖然基於FP

Chevelle.fu

照片中提到了שו、זיויוי!、www，跟研華科技有限公司有關，包含了電子產品、電子產品

COMPUTEX 2024：Snapdragon X Elite除了消費裝置外也有望打入工業電腦產品，高通展區出現研華的Snapdragon X Elite工業電腦樣機

高通執行長Cristiano Amon在COMPUTEX 2024的主題演講提到Snapdragon X Elite將不僅限於筆記型電腦裝置，也將以多元的PC硬體型態出現，同時在投影片可看到如AIO一體式電腦、微型電腦的產品，然而在高通獨立的技術展示區的新創AI應用區，筆者在研華Advantech與BRICKS智慧顯式的智慧零售展示區看到一台帶有Snapdragon X Elite標籤的工業電腦，顯示具備高效能NPU的Snapdragon X Elite平台也有望成功切入工業電腦與智慧零售領域。利用高效能NPU於邊際執行基於生成式AI的點餐客服與推薦系統 ▲上方的標籤顯示這是一台由研華開發、

Chevelle.fu

COMPUTEX 2024：聯發科NeuroPilot SDK接軌NVIDIA TAO強化物聯網邊際AI應用

聯發科繼於2023年宣布與NVIDIA合作打造車載方案後，業界紛紛好奇雙方是否會把合作擴大到智慧手機或Windows on Arm領域，不過至少在COMPUTEX 2024雙方並沒有公布進一步的大型合作，但宣布一項重要的聯發科與NVIDIA的物聯網資源串接；聯發科宣布NVIDIA機器視覺工具NVIDIA TAO套件整合聯發科NeuroPilot SDK，並應用於邊際AI推論晶片開發，使聯發科邊際AI運算晶片Genio開發的產品能為不同規模的企業發展智慧零售、製造、醫療照護、交通、智慧城市。 ▲NVIDIA TAO是AI機器視覺開發套件，具備大量育訓練模型可進行客製化聯發科Genio是針對物聯

Chevelle.fu

相關文章