Google IO 2024:Google代號Trillium的第六代TPU將在2024年末提供服務,性能提升4.7倍、能源效率高67%

2024.05.15 02:49AM
照片中提到了200、00、Trillium,跟谷歌有關,包含了平板顯示器、平板顯示器

Google宣布代號Trillium的第六世代TPU,宣稱相較現行的TPU v5e性能提高4.7倍,並改善67%能源效率;Google預計在2024年底為Google Cloud客戶提供Trillium的實例,除此之外Google也一併介紹在4月公布的客製化Arm處理器Axion將上線提供服務,以及預計於2025年初提供NVIDIA Blackwell GPU加速運算服務。

▲Trillium強化MXU、導入第三代SparseCore

Trillium在設計進一步強化矩陣乘法單元(MXU)、拉高時脈與增加一倍的HBM記憶體頻寬與容量,同時還具備能加速處理排名與推薦工作負載第三代SparseCore嵌入式加速器進行工作卸載,同時透過客製化光通訊技術將晶片對晶片互連(CIC)頻寬較TPU v5e增加一倍;Trillium可在單一高頻寬、低延遲Pod具備256個TPU,且最多能擴展到高達數百個Pod,這些TPU晶片將以每秒高達PB級的速度相互連接。

▲Google Cloud亦計畫在2025年初提供NVIDIA Blackwell雲端實例

Google的TPU是除了NVIDIA GPU加速技術外市場的第二大AI晶片技術,不過市佔仍遠低於已達80%規模的NVIDIA GPU加速技術,同時只提供Google Cloud客戶雲端運算服務不販售硬體的模式也進一步限制TPU擴展的可能,然而作為雲端服務商,Google仍提供多元的加速技術,當前仍基於與市場主流的NVIDIA合作,畢竟滿足客戶需求才是服務商能夠獲利的關鍵。