NVIDIA在Computex 2025期間同步舉辦的GTC Taipei2025展示旗下企業級解決方案,不過最吸引筆者的仍舊是將DGX AI超級電腦的功能凝聚到如同桌面PC尺寸的DGX Spark與DGX Station兩款即將在2025年陸續上市的產品;筆者詢問現場工作人員,確認無論是DGX Spark與DGX Station都將採用NVIDIA標準的主機板設計,合作夥伴的DGX Spark除了機殼以外就只有搭配儲存的部分,而DGX Station則更進一步開放合作夥伴配置不同的記憶體容量、散熱設計等。
以AI原生為目的而非通用運算的DGX Spark及DGX Station
▲兩款DGX個人裝置皆為AI原生而生,不考慮典型PC使用需求
雖然DGX Spark與DGX Station都有著酷似PC主機的外型,然而兩款產品的架構並非典型PC的通用運算,而是自DGX超級電腦一脈相承的AI原生,以提供開發者可在邊際裝置進行與DGX超級電腦、基於NVIDIA加速技術的雲端平台相同的開發環境,使模型能在NVIDIA加速裝置之間直接轉移進行各種應用。故DGX Spark及DGX Station搭載的系統是基於Ubuntu的DGX OS,並預載預先配置最新NVIDIA AI軟體堆疊的NVIDIA DGX系統,並包括NVIDIA NIM微服務與NVIDIA Blueprints的存取權限。
小巧但仍搭載NVIDIA DGX運算與網路架構的DGX Spark
▲右方為NVIDIA GB10晶片、左方方形帶有護蓋的是NVIDIA Connect-X
▲可看到GB10由兩個晶粒封裝而成,搭配128GB LPDDR5x統一系統記憶體
▲可利用Connect-X網路將兩台DGX Spark串接實現執行405B參數的可能
▲後方為合作夥伴所設計的DGX Spark主機外型
DGX Spark的主板設計相當緊湊,為了實現AI運算最大化,在電路板直接配置128GB LPDDR5x做為統一系統記憶體,結合具1PFLOPS AI TOP性能的GB10晶片能夠在單一主機執行200B參數的模型,此外由於搭載NVIDIA ConnectX網路,當串接兩台DGX Spark系統,可進一步支援405B參數的模型。
DGX Station主板鎖點相容ATX主板定義,但內部配置與現行電腦截然不同
▲仔細比對DGX Station主板,其鎖點與現行ATX主機板應該是相同的
▲左上方為Blackwell GPU、右下方為Grace CPU,格局與傳統x86主機板相去甚遠
▲位於比較下方的大晶片是Grace CPU,左右兩側為與美光合作的CSODIMM模組
▲可看到主板有3條M.2 SSD插槽與3條PCIe x16插槽
▲NVIDIA工作人員表示理論上合作夥伴可採取空冷設計,但考慮散熱以及噪音問題可能多半客戶還是會選擇採用水冷
▲微星直接使用電競主機的機殼展示,但也許終端產品並不會使用這款機殼
DGX Station的主機板設計在螺絲孔的位置應該是相容現行ATX主機板定義,現場的合作夥伴展示機多半使用現行小型工作站甚至電競主機機殼作為展示;不過雖然螺絲孔位置定義與現行PC相同,但結構格局則相去勝遠;在主機板右上方的大晶片為模組化的Blackwell GPU(據稱具有更換的能力),偏左下方為72核Arm Neoverse V2架構的Grace CPU(非雙晶粒Superchip),兩個大晶片利用NVLink-C2C相互連接,Grace CPU的高度也占據前三條PCI插槽檔板的位置,但至少仍能沿用現行機殼設計。
除此之外,由於Grace CPU需搭配LPDDR5x記憶體,故DGX Station主機板採用NVIDIA與美光合作的4條SOCAMM記憶體模組設計,提供維護與升級的能力,並且最高支援496GB的LPDDR5x,相較針對筆記型電腦的設計非矩形的LPCAMM2模組,SOCAMM模組狹長的設計能夠在更緊湊空間配置更多記憶體,且同樣能夠與散熱模組結合,同時在系統架構中這些LPDDR5x記憶體也能與GPU的288GB HBM3e記憶體構成大型統一記憶體。另外還搭載NVIDIA ConnectX-8 SuperNIC,提供達800Gbps的網路性能與任務卸載。
NVIDIA的工作人員提到,雖然NVIDIA並未限制DGX Station的散熱方式,理論上仍可使用風冷方式,不過考慮到DGX Station偏向AI工作站的特性,要能夠維持穩定、長時間執行恐怕需要一定尺寸的散熱鰭片,此外還要考慮機殼內部風道、風扇噪音等問題,理論上應該多數夥伴會傾向使用水冷設計。