大型語言模型全攻略 (150041) / 第3頁

產業消息 nvidia 邊際運算語言模型大型語言模型生成式AI LLM Mistral-NeMo-Minitron 8B

NVIDIA推出Mistral-NeMo-Minitron 8B語言模型，僅有80億參數規模但精度不遜120億版本

現在在邊際裝置執行大型語言模型的困難是參數規模，理論上相同技術但參數越大具備更優異的精確度與性能，不過考慮到邊際裝置的運算性能、記憶體等條件，又需要在規模與性能取捨；NVIDIA繼2024年7月攜手Mistral AI公布開源Mistral NeMo 12B模型後，再度推出以其為基礎精簡的Mistral-NeMo-Minitron 8B，雖然參數規模自120億縮減至80億，但精度與性能毫不遜色，足以於NVIDIA RTX技術驅動的工作站執行聊天機器人、虛擬助理、內容生成等應用。此外，對於希冀在算力與記憶體更有限的設備執行特定功能的邊際運算生成式AI，如智慧手機、機器人、嵌入式平台執行更小規模

Chevelle.fu

10 個月前

遊戲天堂 NPC 大型語言模型生成式AI NVIDIA ACE Nemotron

科幻機甲對戰遊戲Mecha Break展示採用NVIDIA ACE的新一代遊戲NPC互動技術，全新4B參數大型語言模型能在主機執行

生成式AI技術對於遊戲產業不僅止於美術領域，NVIDIA也希冀大型語言模型LLM能為遊戲的NPC角色賦予更逼真的互動體驗，並自2023年的Computex開始展示NVIDIA ACE數位人技術，一路自單一的NPC角色、NPC彼此之間的互動到透過一台搭載RTX顯示卡的電腦單機進行展演；而NVIDIA在Gamescom 2024攜手近未來科幻機甲遊戲Mecha Break進行展示，首次在商業遊戲環境展示結合NVIDIA ACE與數位人的NPC技術，並藉由全新的Nemotron-4 4B Instruct模型在裝置端直接執行流暢的對話。 ▲最新的ACE NIM將語言模型提升至Nemotron-4 4

Chevelle.fu

10 個月前

產業消息 Snapdragon 高通大型語言模型生成式AI LLM Llama 2 Snapdragon 7s Gen 3

高通公布Snapdragon 7s Gen 3平台，將能執行大型語言模型的AI下放至平價手機

雖然AI功能已經廣泛使用在智慧手機，不過當前提到AI手機，則莫過於需要支援生成式AI功能，只是目前真正可執行生成式AI的智慧手機多為高階機種以上，但高通正開始使主流機型也能享受生成式AI，使更多用戶感受AI與生活的結合；高通宣布推出Snapdragon 7s Gen 3平台，除了增強的性能以外，還可支援如Baichuan-7B、1B級的Llama 2等大型語言模型。搭載Snapdragon 7s Gen 3的裝置預計於2024年9月問世，包括Realme、三星、Sharp、小米等都將推出採用Snapdragon 7s Gen 3的終端產品。 ▲Snapdragon 7s Gen 3強調可執行大

Chevelle.fu

10 個月前

產業消息繁體中文研華科技聯發科 mediatec 大型語言模型生成式AI

研華科技導入聯發科生成式AI服務平台MediaTek Davinci提升員工效率，並將在內部展開AI創新競賽使教學工作坊

台灣物聯網智慧系統與嵌入式平台研華科技Advantech宣布與聯發科展開策略合作，研華科技全面導入聯發科生成式AI服務平台MediaTek Davinci(聯發科技達哥)，作為提升員工日常生活生產力的工具，使組織中培育AI創新思維，並體現Everyday AI的企業政策；同時研華也將透過MediaTek Davinci平台舉辦一系列生成式AI創新競賽與工作坊，激發員工活用AI發揮創作力。 ▲MediaTek Davinci是聯發科推出的生成式AI服務平台，可支援包括因應繁體中文最佳化的MR VreeXe等多元大型語言模型 MediaTek Davinci(聯發科技達哥)是聯發科於2024年4月

Chevelle.fu

10 個月前

產業消息 SSD 資料中心美光 PCIe Gen 5 大型語言模型生成式AI LLM 圖像生成工具

美光推出PCIe Gen 5通道的Micron 9550 NVMe資料中心SSD，強調為自有控制器、NAND、DRAM與韌體

美光宣布針對資料中心市場推出Micron 9550 NVMe SSD，鎖定AI工作負載需求並兼具能源效率；Micron 9550 NVMe SSD為PCIe Gen 5通道，搭載美光自有控制器、NAND、DRAM與韌體，可發揮同級最佳效能，並與出色的連續與隨機讀寫性能提供如大型語言模型(LLM)所需的高連續讀取性能，以及圖像神經網路(GNN)所需的高速隨機讀取性能，同時也針對AMD與Intel資料中心平台具備出色的相容性。 Micron 9550 NVMe SSD提供自3.2TB至30.72TB等容量，以及U.2、E1.S或E3.S等封裝，目前已經進行送樣。 ▲美光Micron 9550為美光

Chevelle.fu

11 個月前

產業消息技嘉 Radeon Pro RTX 40 大型語言模型生成式AI LLM Hugging Face AI TOP

技嘉推出針對企業地端AI訓練與最佳化的AI TOP應用程式，強調使用者友善的可視化設計

隨著生成式AI掀起新一波AI技術熱，技嘉宣布推出獨家AI TOP應用程式，為企業提供地端AI訓練與最佳化，強調重新設計工作流程，並採用使用者友善的操作介面與即時進度監控，使AI初學者與專家都可將開源大型語言模型在地端進行重新訓練與最佳化，提供企業AI落地與私有化。技嘉AI TOP應用程式已開放下載：AI TOP ▲技嘉AI TOP可支援Hugging Face上的70多個開源LLM，供用戶在地端進行客製化訓練技嘉強調AI TOP是一套針對地端模型AI最佳化的解決方式，結合技嘉AI TOP硬體進行模型再訓練，可解決顯示卡VRAM在訓練過程記憶體不足等問題，並支援技嘉的GeForce RTX

Chevelle.fu

11 個月前

產業消息 AMD 芬蘭大型語言模型生成式AI Silo AI

AMD收購芬蘭AI商Silo AI，旨在提供開放標準化端到端AI解決方案

AMD在近一年陸續收購Mipsology、Nod.ai等AI技術商，而AMD再次斥資6.65億美金出手收購位於芬蘭、以歐洲與北美為主要業務服務的AI技術商Silo AI，目標是提供基於開放標準的端到端AI解決方案，推動客戶建構與快速部署AI解決方案。AMD目標是在2024年內完成收購。 Silo AI總部位於芬蘭赫爾辛基，專注於端到端AI解決方案，協助客戶將AI整合到產品、服務與企業營運，並提供SiloGen模型平台，同時也與AMD攜手開發如Poro、Viking等開源多語言大型語言模型。

Chevelle.fu

12 個月前

產業消息 ubitus NVIDIA H100 大型語言模型 LLM Project TAME

Ubitus宣布支援繁中大型語言模型Project TAME，同時在訓練過程貢獻算力與遊戲領域訓練資料

雲端串流服務公司日商Ubitus以遊戲串流技術發跡，近期也積極發展AI相關服務；隨著由台灣多家產、官、學共同發表針對台灣語系與支援專業知識的Project TAME繁中大型語言推出，Ubitus除了貢獻遊戲領域的訓練資料，並宣布提供基於Project TAME的推論服務，並透過繁中LLM Arena網站進行模型推論測試與演進。繁中LLM Arena網站：LLM Arena ▲Project TAME是首個支援專業領域的開源大型語言模型計畫 Ubitus於2023年即攜手台大資工系合作開發台灣版大型語言模型，近日亦參與台灣首款達70B參數的繁中混合專家模型Project TAME計畫，不僅在訓

Chevelle.fu

1 年前

科技應用翻譯 AI 漫畫小學館角川集英社史克威爾艾尼克斯大型語言模型 Mantra

AI漫畫翻譯公司Matra獲集英社、小學館、角川、史克威爾艾尼克斯贊助，計畫五年內推出讀者可直接閱讀的漫畫AI翻譯技術

雖然日本動漫與遊戲文化廣受全球歡迎，不過畢竟要將日文內容翻譯成多國語言需要花費不少的人力與時間，同時也可能牽涉內容提前流出的資安問題；日本一家以AI進行翻譯的公司Mantra宣布獲得來自集英社、小學館、角川、史克威爾艾尼克斯等日本內容發行商的聯合資助，以及來自ESG全球創投公司MPower Partners的資金，希望透過Mantra的翻譯技術加速漫畫、遊戲等日文內容在全球傳遞的速度。Mantra預計在未來五年提升漫畫AI翻譯的準確性，實現能直接使不同語系用戶閱讀的水準，同時也將技術活用在小說、遊戲、影片等內容，使娛樂產業具備更簡單易用的翻譯技術。 ▲Mantra當前的技術仍需後續透過人力校對

Chevelle.fu

1 年前

產業消息台灣 nvidia 繁體中文在地化大型語言模型 Project TAME

台灣產官學發起並獲NVIDIA支持的開源繁中大型語言模型Project TAME正式亮相，除在地化語言還具產業專業知識

大型語言模型LLM是當前生成式AI技術的核心，然而由於語言的複雜性，主流的知名大型語言模型不見得能理解使用相同文字的差異化語言，如同樣以繁體中文為基礎的台灣繁體中文與香港繁體中文就是一個例子，更不用說許多的中文語系是建立在訓練樣本最高的簡體中文語系，故現在許多國家都興起訓練在地化大型語言模型的計畫；由長春集團、和碩聯合科技、長庚醫院、欣興電子、科技報橘聯合發起，與台大資工系、台大資管系及律果科技合作，並由NVIDIA支持進行訓練的「繁體中文專家模型開源專案 TAiwan Mixture of Experts（ Project TAME ）」在2024年7月1日上線，並將以開源模型形式廣邀產業加

Chevelle.fu

1 年前

# 大型語言模型全攻略

新文易數

相關文章