LLM 全攻略 (150772) / 第3頁

最新 | 熱門

產業消息 nvidia meta Jetson AGX Orin NVIDIA H100 Jetson Orin Nano 大型語言模型 LLM Llama 3 NVIDIA H200

NVIDIA宣布全面針對Meta Llama 3推論提供最佳化，透過雲端、邊際與個人電腦的NVIDIA GPU皆可執行

在Meta宣布釋出全新大型語言模型Llama 3的同時，相關產業領域的合作夥伴也紛紛宣布支援Llama 3，其中作為Meta自行持有的超級電腦的技術供應商的NVIDIA當然也在第一時間宣布消息；NVIDIA強調採用NVIDIA技術所建構的Meta Llama 3獲得NVIDIA GPU加速挹注，能夠自雲端與資料中心至邊際與個人電腦的NVIDIA GPU以最佳化的方式進行推論，且自即日起即可使用。 NVIDIA同步於ai.nvidia.com提供開發者以NVIDIA NIM微服務嘗試Llama 3：ai.nvidia.com ▲Meta工程師在24,576個NVIDIA H100 GPU叢集完成

Chevelle.fu

1 年前

產業消息 AI 大型語言模型生成式AI LLM Llama 3

Meta推出功能更強大的開源大型語言模型Meta Llama 3，率先釋出8B與70B兩種參數版本、預計推出400B以上參數模型

Meta宣布推出新一代開放大型語言模型Meta Llama 3，強調是目前功能最強大的開放式大型語言模型，初步先釋出8B參數(現行較常見應該是7B參數)與70B參數兩個版本，更大參數規模的模型仍在訓練與驗證，並後續預計釋出最大超過400B參數的版本；Meta強調Llama 3創下多項產業指標紀錄，提供更精確的推論能力，同時支援多語言、多語態以及提供更長的上下文語境，同時也秉持開放創新將提供給社群使用，透過Llama 3為基礎建立專屬內容。 Llama 3 模型預計將可於 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Mi

Chevelle.fu

1 年前

產業消息 Sharp OnePlan Realme Snapdragon 7 大型語言模型 LLM Llama 2 Gemini Nano Baichuan-7B

高通公布Snaspdragon 7+ Gen 3，支援生成式AI、CPU與GPU分別提升15%與45%

雖然應該不少關注中國品牌手機的消費者已經從幾天前的品牌預告提前知道這款平台，高通在公布Snapdragon 8s Gen 3後，於2024年3月21公布Snapdragon 7+ Gen 3，強調將支援廣泛的大型語言模型，以及具備更出色的CPU與GPU效能，同時還是Snapdragon 7系列首度支援Wi-Fi 7 HBS多重連接技術的平台。 Snapdragon 7+ Gen 3將率先由OnePlus、realme與SHARP等主要OEM採用，商用裝置預計在幾個月內推出。 ▲Snapdragon 7+ Gen 3特色 Snapdragon 7+ Gen 3是將生成式AI進一步往主流市場下放的

Chevelle.fu

1 年前

產業消息 NVIDIA GTC nvidia gpu grace 台積電大型語言模型生成式AI LLM Blackwell GB200 Grace Blackwell NVIDIA GB200 NVIDIA B200 FP4 FP6

GTC 2024：NVIDIA公布雙晶粒連接的Blackwell架構NVIDIA B200 Tensor Core GPU，GB200 Superchip由1CPU與雙GPU構成

NVIDIA在GTC 2024的重頭戲即是宣布以首位美國科學院黑人學者與研究賽局理論與統計學數學家David Harold Blackwell為名的Blackwell GPU架構，以及基於Blackwell架構的NVIDIA B200 Tensor Core GPU；Blackwell採用六項為加速運算而生的革命性技術，首度採用雙晶粒互連構成一個2,080億電晶體的GPU，同時全新的GB200 Superchip(Grace Blackwell超級晶片)更透過NVLink-C2C將2個NVIDIA B200 Tensor Core GPU與1個Grace CPU連接。基於Blackwell架

Chevelle.fu

1 年前

產業消息 Google AI pchome Google Cloud KKday GEMINI 大型語言模型生成式AI LLM Gemma

Google強調以人才培育、強化社群、協助產業創新協助台灣發展AI，深耕台灣深化教育

Google在2024年3月中旬藉媒體春酒邀請包括Google台灣總經理林雅芳、Google台灣董事總經理馬大康及 Google Cloud台灣總經理柯淑芬等台灣Google高層，與媒體分享Google在全球與台灣的布局，其中強調Google將持續耕耘台灣，希冀使台灣成為「亞洲矽谷」，同時Google也預計在2024年於台灣投入多項AI相關計畫，自教育、開發社群與產協合作協助台灣發展AI。 ▲Google視把台灣打造為亞洲矽谷為使命 ▲Google自2029年進入台灣市場即不斷透過多個方面挹注台灣進行創新與數位轉型 ▲Google在發展AI有著獨一無二的垂直整合優勢隨著2023年Google

Chevelle.fu

1 年前

產業消息繁體中文聯發科 mediatec 大型語言模型 LLM Breeze-7B 中英雙語

聯發科創新基地開源釋出中英雙語Breeze-7B大型語言模型，支援雙語且繁中推論僅需Meta或Mistral一半時間

聯發科創新基地繼2023年初釋出全球第一款繁體中文文本的大型語言模型(LLM)後，在2024年3月宣布開源支援中、英雙語的MediaTek Research Breeze-7B大型語言模型，基於開源界熱門的Mistral模型，相較先前繁體中文文本LLM增加20倍知識量，能掌握中、英文的語言與文化差異，呈現更自然且精確的雙語內容創作；聯發科創新基地強調在其對模型的最佳化，Breeze-7B執行繁體中文推論速度較70億參數級的Meta或Mistral僅需一半時間。聯發科預告，下一代大型語言模型將以開源模型Mixtral為基礎，目標是470億(47B)級的大參數模型，並將在近期開放公眾測試。 ▲7

Chevelle.fu

1 年前

產業消息 nvidia 大型語言模型生成式AI NVIDIA NeMo LLM Hugging Face ServiceNow StarCode2 BigCode

ServiceNow、Hugging Face與NVIDIA共同推出程式碼生成的開放大型語言模型StarCode2，提供3B、7B與15B三種模型大小

ServiceNow、Hugging Face與NVIDIA宣布共同推出開放大型語言模型StarCode2，可用於程式碼生成，提供效能、透明度與成本效益；StarCode2與由ServiceNow和Hugging Face共同管理的BigCode社群共同開發，經過619種程式語言訓練，能進一步在企業進行訓練與嵌入執行特定任務，諸如原始程式碼生成、工作流程生成、文章摘要等，開發人員可藉此加速創新與提升生產力。 StarCode 2提供三種模型大小，包括ServiceNow訓練的30億(3B)參數模型、Hugging Face訓練的70億(7B)參數模型，與透過NVIDIA NeMo建構以及在NV

Chevelle.fu

1 年前

產業消息世界行動通訊大會 nand 美光摺疊手機 UFS 4.0 大型語言模型生成式AI LLM

美光宣布9x13mm封裝UFS 4.0行動儲存解決方案已送樣，採232層3D NAND、容量達1TB

美光Micron於MWC宣布其業界最小尺寸UFS 4.0行動儲存解決方案已送樣，基於232層3SD NAND與先進封裝，在9x13mm大小的UFS封裝晶片可提供1TB容量，同時循環讀寫性能也獲得翻倍的提升，尤其對於生成式AI盛行的當下，加載大型語言模型LLM的速度可提升40%。美光升級版UFS 4.0已經送樣，提供256GB、512GB與1TB三種容量。 ▲美光小尺寸UFS 4.0解決方案基於232層3D NAND顆粒，封裝僅9x13mm 此小型化封裝是美光繼2023年6月推出11x13mm封裝的UFS 4.0解決方案後又一突破，其9x13mm尺寸也是目前全球最小且性能最強大的UFS 4.0儲

Chevelle.fu

1 年前

產業消息 nvidia 美光記憶體推論加速器生成式AI LLM HBM3e H200

美光8層堆疊24GB HBM3e記憶體正式量產，NVIDIA H200 Tensor Core GPU率先採用

美光Micron宣布兼具高效能、大容量且更節能的HBM3e記憶體已正式量產，同時NVIDIA H200 Tensor Core GPU為首款宣布採用美光8層堆疊的24GB HBM3e解決方案的產品，並於2024年第二季出貨。同時美光預計於2024年3月還將推出12層堆疊36GB HBM3e記憶體樣品，並成為NVIDIA GTC大會贊助夥伴，屆時將分享更多美光AI記憶體產品組合與藍圖。 ▲於2023年11月公布的NVIDIA H200 Tensor Core GPU將是美光HBM3e的先行導入產品 HBM記憶體是當前高效能運算、AI應用、資料中心等不可或缺的記憶體技術，美光新一代HBM3e記憶體

Chevelle.fu

1 年前

產業消息世界行動通訊大會 Android Windows on Snapdragon Snapdragon 8 Gen 3 大型語言模型生成式AI LLM Snapdragon X Elite Qualcomm AI

高通已在多項個人裝置與物連網領域實現人工智慧商業化，並於MWC 2024展示Android手機與Windows PC的客製化多模態與大型視覺模型

高通在MWC 2024的其中一項重點就是展現高通Snapdrgaon平台在包括下一代PC、智慧手機、軟體定義車輛、XR與物連網領域的大規模設備AI商業化，加速AI無所不在的世界，其中新世代的Snapdragon 8 Gen 3與Snapdragon X Elite平台更雙雙為智慧手機、PC奠定執行強大裝置端AI的基礎；高通強調透過在多個平台開放的Qualcomm AI Hub資源，能加速開發者為使用高通平台的終端導入AI功能，同時高通也展示旗下Qualcomm AI Reaseach於Android手機、Windows PC執行大型多模態模型與大型視覺模型的研究成果。高通合作夥伴如小米、OP

Chevelle.fu

1 年前

友站推薦