Red Hat 啟動 LLM-D 社群專案 加速大規模分散式生成式 AI 推論
Red Hat 發表 llm-d 開源社群,結合 vLLM 與 Kubernetes 架構,致力於實現大規模分散式生成式 AI 推論,提升企業部署效率與彈性。 Red Hat近期宣布推出全新開源專案llm-d,旨在回應未來生成式AI (Gen AI)最關鍵的大規模推論需求。 此專案由創始貢獻者CoreWeave、Google Cloud、IBM Research與NVIDIA共同發起,並且獲得AMD、Cisco、Hugging Face、Intel、Lambda和Mistral AI 等業者,以及加州大學柏克萊分校和芝加哥大學等學術機構參與,目標讓生產環境中的生成式AI應用像Linux一樣無所
1 個月前
ARTC展現多元新世代車輛測試及驗證平台,噪音共振測試場域跨界應用於AI伺服器
ARTC在2025年5月邀請媒體參加的活動不僅體驗集結台灣廠商技術的Level 3等級自動駕駛技術,也一併分享ARTC因應新一代車輛的法規、品質與趨勢需求設立的測試及驗證,包括智慧駕駛技術當中的車內駕駛行為偵測系統驗證,電子後視鏡驗證與車載平台與車輛共振驗證;有趣的是具有針對汽車級振動與噪音測試場域的ARTC也不僅只獲得汽車產業的青睞,同時還是協助許多台灣伺服器廠商整機系統設計的幕後幫手,多家伺服器大廠為了符合客戶對於能源效率、運轉噪音及振動等需求,紛紛找上ARTC協助,也是令人聯想不到的業務。 結合假人、六軸振動與模擬光源提供可重現的AI駕駛行為偵測系統測試 ▲這個可不是賽車模擬器,而是模擬
1 個月前
AMD公布基於Zen 5的EPYC 4005伺服器處理器,為Ryzen 9000桌上型處理器延伸產物
AMD宣布代號Grado的EPYC 4005的伺服器CPU,基於Zen 5架構,最多提供達16核心配置,並使用AM5插槽;EPYC鎖定如伺服器、刀鋒伺服器、塔型工作站等企業型態設備,並於效能、簡單性與成本取得適當的平衡,強調相對競品Intel第6代Xeon 6300P高出1.83倍性能,包括Altos、ASRock Rack華擎、Gigabyte技嘉、Lenovo、MiTAC神達、MSI微星、New Egg、OVHcloud、Supermicro美超微與Vultr皆規劃推出相應產品。 ▲強調性能較同樣核心數量競品更高,還提供競品一倍數量核心的16核產品 ▲共提供3款16核心產品,8至12核心皆
1 個月前
最可靠的散熱合作夥伴!聚焦 AI 基礎設施硬體建設, Johnson Electric 德昌電機「探討 AI 時代的資料中心液冷散熱解決方案」論壇免費報名中
香港上市公司德昌電機(Johnson Electric)集團,即將於5月22日,在南方港會議中心舉辦「探討 AI 時代的資料中心液冷散熱解決方案」論壇,內容聚焦AI基礎設施硬體建設與液冷散熱解決方案發展趨勢。活動免費報名,名額有限,錯過不再。 隨著人工智慧(AI)的快速發展, AI 轉型已迫在眉睫,不分產業類型與規模,大大小小的企業都在針對導入 AI 進行廣泛的試驗;而即將舉辦的全球科技界盛事「COMPUTEX 2025」也以「AI Next」為主軸,聚焦智慧運算與機器人、次世代科技、未來移動三大主題,凸顯出 AI 技術與應用之於未來產業的必要性。 不過,在各項技術應用的背後,最關鍵的仍是 A
1 個月前
Intel Xeon 系列總架構師 Sailesh Kottapalli 加入 Qualcomm
Intel Xeon 系列處理器總架構師 Sailesh Kottapalli 加盟 Qualcomm,協助 Qualcomm 拓展伺服器領域技術。 過去在Intel任職超過28年,並且曾經擔任Xeon系列處理器首席架構師的Sailesh Kottapalli,稍早宣布已經加入Qualcomm擔任資深副總裁。 Sailesh Kottapalli過去在Intel曾經擔任驗證工程師、邏輯設計師、全晶片平面規劃師、後矽調試工程師、微架構師與架構師,並且先後負責過CPU核心、記憶體、I/O連接埠與平台設計,分別涵蓋x86與Itanium (安騰)多種架構,以及GPU在內產品,同時也曾塑造Xeon系列
5 個月前
AI伺服器散熱要「下海」?環保與省錢的兩難抉擇
生成式人工智慧的發展帶來巨大能源消耗,為解決伺服器散熱的需求,舊金山灣區新創公司NetworkOcean提出將伺服器沉入海底的方案,聲稱此舉可為節省25%的營運成本。傳統資料中心建置成本為每百萬瓦特電力容量1000至2000萬美元,其中三分之二用於土地、建築及冷卻設施。NetworkOcean 計劃將啟動把伺服器封裝於金屬艙體中,再沉入海中的測試方案。
8 個月前
MLPerf基準測試顯示Intel第6代Xeon Scalable處理器的AI效能較第3代提升17倍
雖然目前提到AI伺服器,多半是由GPU與加速器作為主要AI運算的關鍵硬體,不過AMD與Intel仍在伺服器CPU加入AI加速設計,使CPU也能一定程度執行AI推論運算;Intel引述MLPerf最新一輪的測試數據,對比4年前的第3代Xeon Scalable,第6代Xeon Scalable的AI效能提升幅度達17倍,而較第5代Xeon Scalable也有著1.9倍的幾何平均效能提升。 ▲Intel強調Xeon處理器持續增強其AMX技術,滿足新一代客戶同時執行企業工作負載與AI工作負載的需求 Intel強調AI系統仍仰賴CPU作為關鍵元件,Intel於Xeon整合優異的AI推論解決方案,包括
9 個月前
Supermicro、NVIDIA 攜手台廠 高雄打造AI資料中心
Supermicro 將與日月光、中華系統整合合作在高雄建水冷資料中心,提升 AI 應用與節能效果。 Supermicro宣布將攜手日月光半導體、中華系統整合,預計在高雄建造導入新一代水冷散熱設計資料中心。而NVIDIA執行長黃仁勳在此次Computex 2024期間也透露將與鴻海合作建造資料中心,藉此強化人工智慧、電動車及機器人運算應用發展。 Supermicro此次合作,將由中華系統整合佈建,並且將Supermicro旗下水冷設計的人工智慧伺服器與節能技術整合至日月光半導體資料中心,藉此提升日月光半導體以人工智慧使研發、生產流程最佳化,同時也將透過水冷散熱方式降低資料中心碳排放量,更呼應推
1 年前
AMD推出EPYC 4004系列入門級伺服器處理器,採AM5插槽最多16核心
AMD宣布推出EPYC 4004系列處理器擴展入門級伺服器市場,主打提供中小企業、IT託管服務供應商成本最佳化的企業級功能解決方案,將鎖定Intel Xeon E系列作為假想敵,強調較Xeon E-2488提供1.8倍的價格性能比,其本質也類似Intel Xeon E系列,是源自Ryzen處理器的資料中心級孿生版,採用AM5單插槽形式。 ▲採用EPYC 4004的系統夥伴 包括微星、美超微、泰安、技嘉、IONOS、ALTOS、永擎(華擎子公司)、OVHclod皆為EPYC 4004的系統合作夥伴 ▲EPYC 4004鎖定Intel的Xeon E系列伺服器處理器 由於EPYC 4004系列使用A
1 年前
PCI-SIG公布適用PCIe 5.0、PCIe 6.0的CopprLink內外部纜線規範,提供32GT/s與64GT/s高速傳輸性能
由於異構運算的興起,使一度停滯的高速通用匯流排的發展速度加速,其中最為廣泛使用的PCIe規格更如趕火車一般的積極更迭;隨著PCI-SIG公布PCIe 7.0發展藍圖後,PCI-SIG宣布適用於即將廣泛被資料中心、AI系統等的PCIe 5.0與PCIe 6.0規格的CopprLink纜線規範,提供32.0GT/s與64GT/s的傳輸性能,並包括內部傳輸與外部傳輸兩種形式的規範。同時,隨著128.0GT/s的PCIe 7.0進入開發藍圖,PCI-SIG也開始進行相關的CoprrLink纜線的技術探索。 目前CopprLink內部與外部纜線規格已開放PCI-SIG成員下載:CopprLink ▲Co
1 年前
友站推薦
雙 11 目標業績翻倍!momo 去年單日 12 億,今年網站、物流有「萬全準備」
INSIDE - Mia
主攻伺服器產品!NVIDIA 在 Computex 上推水冷式 A100 PCIe、Grace Hopper 與 Jetson AGX Orin
INSIDE - Chris
臉書伺服器需求增 躍居台廠第 2 大客戶
INSIDE - 中央社
緯創出清立訊持股認賠55億元,分散中國風險、強化AI業務兩大策略獲市場肯定
關鍵評論 - 莊貿捷

相關文章