Red Hat 啟動 LLM-D 社群專案 加速大規模分散式生成式 AI 推論
Red Hat 發表 llm-d 開源社群,結合 vLLM 與 Kubernetes 架構,致力於實現大規模分散式生成式 AI 推論,提升企業部署效率與彈性。 Red Hat近期宣布推出全新開源專案llm-d,旨在回應未來生成式AI (Gen AI)最關鍵的大規模推論需求。 此專案由創始貢獻者CoreWeave、Google Cloud、IBM Research與NVIDIA共同發起,並且獲得AMD、Cisco、Hugging Face、Intel、Lambda和Mistral AI 等業者,以及加州大學柏克萊分校和芝加哥大學等學術機構參與,目標讓生產環境中的生成式AI應用像Linux一樣無所
1 個月前
AMD Instinct MI400 APU將由兩個中介層、8個XCD小晶片構成
AMD在COMPUTEX 2024的主題演講提及2026年將推出架構大翻新的APU加速晶片Instinct MI400,截至目前為止AMD並未透露Instinct MI400的相關資訊,不過在Free Desktop出現的Patch提前爆料了些許關於Instinct MI400的晶片構成,每個Instinct MI400將由兩個AID中介層晶片、分別配置4個XCD加速器小晶片構成。 當前AMD的Instinct MI300雖同樣由8個XCD加速器小晶片構成,不過卻動用達4個AID中介層晶片,也意味著AMD將使單一中介層配置更多的XCD,能使單一中介層的XCD溝通更為快速;此外不同於現行Inst
5 個月前
美光2026年量產的HBM4將提供NVIDIA Rubin R100等下一代AI加速器使用,並已投入HBM4E的開發
美光的HBM3E順利打入NVIDIA AI加速器的供應鏈,其中HBM3E成為NVIDIA H200搭配的記憶體;根據美光財報會議紀錄,美光將在2026年量產HBM4,作為屆時如NVIDIA的「Rubin」NVIDIA R100等先進加速器搭配,此外美光也投入HBM4E的開發,倘若時程能夠配合,應該會成為NVIDIA小改版世代的R200所搭配的記憶體。 ▲NVIDIA的Rubin R100加速器預期會採用美光HBM4記憶體 目前AI加速器的GPU由SK Hynix取領先,三星與美光仍設法從中突圍,其中美光鎖定高性能與客製化服務作為與其它競爭者的差異化;美光預期在2026年推出HBM4記憶體,將較
6 個月前
AMD將使用UDNA統一GPU架構取代現行區分RDNA與CDNA兩種GPU架構
由於圖形與運算的需求不同,AMD自2019年終結GGCN架構後,針對傳統圖形提供RDNA架構,針對加速運算提供CDNA架構,但AMD運算與顯示卡事業部資深副總裁暨總經理Jack Huynh於IFA 2024接受Tom's Hardware採訪時透露,AMD為了簡化開發與種種因素,未來兩大架構將合併於單一UDNA架構,不再區分圖形GPU與加速GPU兩種架構發展,不過目前UDNA處於策略階段,實際執行的時間未定。 根據Jack Huynh透露,當前AMD的RDNA與CDNA兩項架構是獨立發展的,但對於開發者則需要熟悉兩種不同的架構,AMD未來將把圖形與加速產品合併為單一架構,使開發者更容易進行開發
9 個月前
AMD收購白牌伺服器供應商ZT System強化資料中心布局,將拆分製造部門不與客戶競爭
AMD宣布在台稱為美商雲達科技的白牌伺服器廠商ZT System,做為強化與NVIDIA於資料中心、AI、HPC等領域競爭的布局,AMD預計透過現金75%與等值股票25%的比重全額收購以總額49億美金收購ZT System,AMD完成收購後將保留ZT System的設計與服務部門,製造部門預計拆分,希冀強化GPU資料中心產品布局,主要目的是借助擴充設計與客戶服務團隊,增強客戶對於AMD AI機架系統的佈署。 此樁收購仍待批准,但AMD預計於2025年上半年完成收購,並於收購完成後的12個月至18個月釋出ZT Sysem的製造部門。 ▲AMD收購ZT System的目的在於強化資料中心GPU產品
10 個月前
Intel下一代GPU加速器Falcon Shores將達1,500W TDP,僅提供液冷型態
Intel的Ponte Vecchio是Intel第一款基於GPU的加速器產品,做為下一世代後繼GPU加速器的Falcon Shores將進一步整合Gaudi產品線,將Gaudi的加速設計進一步整併到GPU加速器內;根據最新的報導指稱,Falcon Shores的TDP將達1,500W,同時僅提供液冷型態。 ▲整合Xe GPU與AI加速的Falcon Shores將作為Gaudi產品線後續的產品 Falcon Shores據稱設計計畫經過多項調整,原本將以結合CPU、GPU與加速器的XPU為目標,不過最終改為純GPU加速器產品,但保有將下一代Xe GPU架構與Gaudi加速器整合的設計;根據I
1 年前
NVIDIA傳2025年第四季量產代號Rubin的R100 AI加速GPU,採台積電3nm製程、搭配HBM4記憶體
NVIDIA在2024年GTC大會公布全新的Blackwell GPU架構,以及基於Blackwell架構的B200 Tensor Core GPU、GB200 SuperChip等產品;天風證券分析師郭明錤指稱NVIDIA將會在2025年第四季開始生產代號Rubin的R100 GPU,並透過台積電N3製程生產,不過實際產品與系統則將在2026年上半年量產,預期R100 GPU將會是2025年GTC大會的主軸;作為代號的Rubin是致敬女性美國天文學家Vera Rubin。 R100 GPU將延續Blackwell GPU的小晶片設計,據稱採用高於B100的3.3x reticle設計的4x
1 年前
PCI-SIG公布適用PCIe 5.0、PCIe 6.0的CopprLink內外部纜線規範,提供32GT/s與64GT/s高速傳輸性能
由於異構運算的興起,使一度停滯的高速通用匯流排的發展速度加速,其中最為廣泛使用的PCIe規格更如趕火車一般的積極更迭;隨著PCI-SIG公布PCIe 7.0發展藍圖後,PCI-SIG宣布適用於即將廣泛被資料中心、AI系統等的PCIe 5.0與PCIe 6.0規格的CopprLink纜線規範,提供32.0GT/s與64GT/s的傳輸性能,並包括內部傳輸與外部傳輸兩種形式的規範。同時,隨著128.0GT/s的PCIe 7.0進入開發藍圖,PCI-SIG也開始進行相關的CoprrLink纜線的技術探索。 目前CopprLink內部與外部纜線規格已開放PCI-SIG成員下載:CopprLink ▲Co
1 年前
Intel公布主打性能與性價比皆優於NVIDIA H100的Gaudi AI加速器,主打提供業界多元且開放的選擇
NVIDIA以長期投入的獨占Cuda加速技術搭配開源軟體環境最終在對的時間開花結果,成為當前引領AI產業的龍頭,不過包括AMD、Intel與諸多新創競爭對手勢必會希望打破僵局,尤其對過往長期獨霸運算產業的Intel而言,勢必希望能夠重振雄風奪回產業領導地位;Intel在Vision 2024大會公布第三世代的Intel Gaudi AI加速器,劍指NVIDIA Hopper架構(對,比較對象不是下一代的Blackwell),強調在性能全面領先NVIDIA H100以外,更提供產業多元且開放的選擇。 Gaudi 3預計在2024年第二季向OEM交付通用基板與開放加速器模型(OAM)的業界標準配置
1 年前
AMD中國特別版Instinct MI309 AI GPU恐無法獲美國商務部批准輸出
在中美貿易戰仍僵持不下的時空情境,美國政府為西方國家輸出到中國的高性能運算產品設下一定的性能與規格門檻,就連最高階的消費級顯示卡NVIDIA GeForce RTX 4090也慘遭禁止銷售到中國,不過腦筋動得快的企業也見招拆招,紛紛推出所謂的「中國特別版」,例如GeForce RTX 4090D就是在這樣情況下誕生的產物;但畢竟效能受限卻沒有比較便宜,中國客戶自然也不太買帳,先前傳出NVIDIA中國特別版的加速器反應不佳,自然AMD與Intel就會想趁虛而入,然而根據消息指出,AMD中國特別版Instinct MI309 AI GPU恐怕拿不到美國商務部的核准。 ▲雖然不確定中國特規版本到底性
1 年前
友站推薦
知名加速器 Y Combinator 新總裁!前合夥人Garry Tan 接任
INSIDE - Mia
有「腦」斯有財:「知識變現」成熟的五個契機
關鍵評論 - 周詣/Daniel Chou
Google 90% AI 訓練全靠第四代 TPU 加速器!效率為前代十倍
INSIDE - Mashdigi
兩組團隊、兩座不同的加速器,帶出「魅夸克」被發現的傳奇色彩
關鍵評論 - 物理雙月刊PSROC
緯創啟動第三屆加速器計畫,鎖定六大領域新創
INSIDE - 鉅亨網
東協印度創業育成中心STARTBOARD:打造台灣成為最友善的創業國家
關鍵評論 - 新社會政策雜誌
《追光之旅》:物理學家浦大邦英年早逝,但他對台灣基礎科學的貢獻不可抹滅
關鍵評論 - 精選書摘
跨業跨很大!緯創宣布成立垂直加速器,將交由 AppWorks 營運
INSIDE - INSIDE 硬塞的網路趨勢觀察
有「腦」斯有財:「知識變現」成熟的五個契機
關鍵評論 - 周詣/Daniel Chou

相關文章