硬科技:讓記憶體跟CPU拖鉤的OpenCAPI、CXL與Gen-Z

2021.03.15 03:19PM
照片中提到了Gen-Z Creates More Real Estate、GEN /、Gen-Z can be used to connect to devices inside and outside the server enabling a composable system,包含了軟件、Z世代、PCI Express、PCI-SIG、惠普企業

筆者一向不太喜歡「天下分久必合,合久必分」這句話,因為經常被某些有心人士用來合理化某個野蠻國家對台灣的併吞野心,但隨著激增的CPU核心數與水漲船高的記憶體容量,記憶體和匯流排的頻寬,逐漸跟不上CPU核心數增長這件事。對圍繞著資料中心需求的所有相關技術,帶來了極為嚴峻的挑戰,而分散在各地的記憶體,如多階層快取記憶體、分散式實體記憶體 (NUMA) 和外部加速器 (Accelerator),彼此之間的資料一致性 (Coherence) 協定,更讓問題的延燒,如火燒摩天樓一樣的嚴重。

CPU廠商也很積極地強化記憶體頻寬,其努力直接反應在驚人的腳位數。在Nehalem (Xeon 5500/5600) 時代的LGA1366是三通道,Xeon E5的LGA2011四通道,Skylake-EP (Purley平台) 的LGA3647六通道,上市一再延宕的Ice Lake-SP (Whitley平台) 的LGA4189八通道,AMD EPYC的LGA4094八通道,至於新一代Xeon “Sapphire Rapids” (Eagle Stream平台) 的LGA4677八通道DDR5就更別提了。但「物理限制」就是擺在那邊,CPU廠商也無法永無止盡的增加腳位,得另闢蹊徑。

其實在過去,Intel也曾經選擇將記憶體控制器的功能分而治之,透過序列式 (Serial) 協定存取記憶體,像FB-DIMM、SMI和SMI2,這也是眾多高階伺服器行之有年的作法。不過還是一句話:有其極限。

硬科技:做為x86伺服器象徵的Intel Xeon處理器:混亂期(2004-2006)
硬科技:做為x86伺服器象徵的Intel Xeon處理器:轉型期(2006-2008)
硬科技:做為x86伺服器象徵的Intel Xeon處理器:鐘擺期(2011-2017)
硬科技:做為x86伺服器象徵的Intel Xeon處理器:振作期(Since 2020)

某些用功的科科,也許會注意到2020年4月,原先互為競爭對手的CXL (Compute Express Link) 聯盟與Gen-Z聯盟,雙方簽署備忘錄 (MOU),確立雙方展開互補性的技術合作。CXL主要用在晶片對晶片的互連,Gen-Z則鎖定機架之間的短距離網路連結。

長期關注高階處理器的科科,也不會不知道IBM Power處理器採用OpenCAPI (Open Coherent Accelerator Processor Interface) 定義的開放式記憶體介面 (OMI, Open Memory Interface),讓Power9最終款AIO (Advanced I/O) 擁有高達650GB/s理論記憶體頻寬。這些東西到底是什麼?為何看似可以一勞永逸的解決記憶體和匯流排的頻寬限制?所以各位科科才會現在看到這篇科科文。

IBM Power 9處理器解析 地球上最強大泛用處理器
硬科技:HotChips 32的新牙膏 IBM Power10與z15篇

由近至遠,無論是IBM主導的OpenCAPI、Intel帶頭的CXL、與「反Intel陣營」發起的Gen-Z (或著得加上個NVIDIA的NVLink,和本文不會討論到的CCIX),皆為針對記憶體讀寫的互連協定,並以PCI Express為技術基礎 (Gen-Z另外包含了乙太網路),主要設計目標均為了實現CPU、加速器 (GPU, AI, FPGA) 、記憶體與資料儲存單元之間的低延遲互聯。

照片中提到了Representative CXL Usages、Caching Devices /、Accelerators,包含了交流網、圖、介紹、軟件、牌

即使初衷略有不同,但它們的最終目的,講的白話一點,就是「將記憶體虛擬成一個全部運算單元共用的共享池」,而三者之中最極端的Gen-Z更是企圖讓記憶體成為電腦的中心,從計算節點解構出來,弱化CPU的角色,使其與各種不同的加速器平起平坐,按照需求分配記憶體資源給各類型的xPU—這當然不是Intel所樂見的未來。

目前這三種技術的應用案例依舊不多,頂多歷史比較悠久的OpenCAPI有IBM當開路先鋒,CXL和Gen-Z的商品化,大概也是2022甚至2023年以後的事情,過程中也可能發生彼此互相整併的狀況。日後筆者有機會,再深談這些技術的發展,各位科科只要記得下面這個比較表就夠了。科科。

2 則回應