LLM 全攻略 (150772) / 第4頁

最新 | 熱門

產業消息 CPU qualcomm gpu Snapdragon 高通 NPU Snapdragon 8 Gen 3 大型語言模型生成式AI LLM Snapdragon X Elite

高通專文介紹NPU之於裝置端執行生成式AI的意義，並強調透過異構運算能最大限度提升效能、能源效率

雖然行動裝置結合AI技術已經不是新聞，然而隨著生成式AI引領新一代AI技術，使AI不再只是作為單純的辨識與增強，而是能夠與使用者深度互動的技術，裝置端AI技術也邁入全新的局面，同時處理器產業也不約而同的標榜在架構中導入NPU，只不過若僅熟悉傳統PC領域的用戶，恐怕對於NPU會比較陌生，在新一代平台Snapdragon 8 Gen 3與下一代PC平台Snapdragon X Elite加入增強NPU設計的高通，就專為NPU在裝置端生成式AI的意義與NPU結合生成式AI如何增強使用體驗撰寫一則專文。高通開宗明義的表示，NPU是作為高通異構運算的一環，並專為生成式AI應用而生，也是結合CPU、GP

Chevelle.fu

1 年前

產業消息 nvidia ISSAC Sim 大型語言模型生成式AI LLM

CES 2024：生成式AI技術挹注NVIDIA Isaac平台使機器人更智慧，波士頓動力、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics等公司積極於機器人導入大型語言模型

自主機器人技術在許多工業領域相當重要，隨著生成式AI的崛起，自主機器人技術也迎來重大的技術與產業升級；NVIDIA機器人和邊緣運算副總裁Deepu Talla在CES 2024的主題演講介紹NVIDIA與合作夥伴如何將生成式AI和機器人結合，包括波士頓動力、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics等公司皆積極在機器人導入基於GPU加速的大型語言模型；藉由生成式AI，進一步使基於AI的自主機器人提升效率、降低成本並解決勞動力短缺。作為生成式AI關鍵技術的核心，即是大型語言模型LLM，LLM可說是將大腦語言中心轉

Chevelle.fu

1 年前

產業消息 nvidia amazon AI aws Grace Hopper SuperChip 大型語言模型生成式AI LLM GH200 H200

亞馬遜AWS率先導入NVIDIA Grace Hopper Superchip與Ultra Cluster可擴展雲端超級電腦，為生成式AI提供強大的雲運算基礎架構、軟體與服務

Amazon Web Service/AWS於自家年度活動AWS re:Invent大會宣布攜手NVIDIA導入多項NVIDIA的創新硬體、技術與服務，率先成為首家導入NVIDIA Grace Hopper Superchip與Ultra Cluster可擴展雲端超級電腦的雲服務商，為機器學習與當前火熱的生成式AI提供自硬體、軟體到軟體的全方位解決方案。 AWS宣布將是第一家提供NVIDIA Grace Hopper Superchip的雲端服務商，以達32個節點構成單一個NVIDIA GH200 NVL32執行個體，將高達32個Grace Hopper Superchip成為一個具備20TB

Chevelle.fu

1 年前

產業消息台積電 VIVO 光線追蹤 Cortex-X4 Cortex-A720 生成式AI LLM Immortalis-G720 天璣 9300

聯發科天璣 9300 不僅塞進 8 核全大核 CPU 配置，還能執行 330 億參數 AI 模型

以往都選在高通 Snapdragon Summit 前發表旗艦平台的聯發科在 2023 年選擇後發，在正式發表前，聯發科在中國社群就搶先以「全大核」作為天璣 9300 的主打項目；在 2023 年 11 月 6 日晚間於中國的全球發表會，聯發科還展現了天璣 9300 除了 Cortex-X4 + Cortex-A720 全大核配置以外的更多特色，其中更將生成式 AI 作為賣點，強調借助先進 AI 架構，可在裝置多執行達 300 億參數的 AI 模型。 ▲ vivo X100 將在 11 月 13 日全球首發天璣 9300 ▲天璣 9300 特色聯發科天璣 9300 採用台積電第三代 4nm

Chevelle.fu

1 年前

產業消息 Snapdragon 8 Gen 3 大型語言模型生成式AI LLM Llama 2 INT4

Snapdragon Summit 2023 ：高通表示理論上配有 8GB RAM 的 Snapdragon 8 Gen 3 手機就能夠執行 70 億參數大型語言模型，一切都感謝 INT4 (後面有手機執行生成式 AI 畫圖的示範短片)

高通 Snapdragon 8 Gen 3 主打的重要特色是足以在手機執行 100 億以上參數的大型語言模型 LLM 的 AI 運算效能，不過若對 AI 有一定的理解，可能會優先質疑是否手機需要搭載龐大容量的記憶體才足提供執行 100 億參數所需的容量；在跟高通的工作人員詢問後，若是要在 Snapdrgaon 8 Gen 3 執行像是 70 億個參數的 Llama 2 模型，其實 8GB 容量的標準規格旗艦手機理論上就綽綽有餘了，其中的關鍵就是 Snapdragon 8 Gen 3 支援精度媲美 INT8 的 INT4 ，以及與 AI 產業夥伴針對 INT4 進行最佳化。 ▲榮耀 Honor

Chevelle.fu

1 年前

產業消息 Snapdragon XR Auracast 大型語言模型 LLM Llama 2

Snapdragon Summit 2023 ：高通透過情境展示 Snapdragon 如何結合 AI 豐富日常生活

高通 Snapdragon Summit 2023 的主軸重點之一即是能以在裝置執行 AI ，不過提到 AI 如何強化日常的生活體驗，多數人恐怕除了聯想到手機品牌在行銷時不斷強調 AI ，在一時之間可能也想不到 AI 到底被使用在甚麼地方；高通為了使參加者更容易理解 Snapdragon 平台結合下一代 AI 技術如何增強日常生活體驗，透過情境展示介紹自個人助理、結合生成式 AI 的增強影像、透過手機與 XR 眼鏡的智慧健身以及新一代藍牙 LE Audio 技術當中的 Auracast 廣播。利用大型語言模型激盪想法與迅速找尋解決問題的辦法 ▲透過大型語言模型使 AI 寫一首詩詞 ▲利用大型

Chevelle.fu

1 年前

科技應用貼圖 AI Facebook meta Instgram 大型語言模型生成式AI LLM Llama 2 Backdrop Restyle

Meta 為 Facebook 、 Instgram 導多項 AI 圖像技術，包括 AI 貼圖、圖像編輯以及攜手名人打造 28 款個性 AI 測試版

Meta 在 Meta Connect 大會公布多項 AI 技術與服務，其中為主力的社群服務 Facebook 與 Instgram 提供多項 AI 圖像功能，兩社群將加入基於 AI 的貼圖，而以圖像為核心的 Instgram 更推出 Restyle 與 Backdrop 兩項基於 AI 的圖片增強；此外 Meta 也將推出串接服務與設備的 AI 助理 Meta AI ，同時攜手名人推出 28 款 AI 個性角色。另外 Meta 宣布 AI Studio 平台，除了現階段用於設計 Meta AI 助理，未來也將開放外界使用，幾周後將開放 Meta API 供開發者打造整合至 Meta 訊息服

Chevelle.fu

1 年前

產業消息 nvidia gpu python H100 大型語言模型 LLM NVIDIA TensorRT-LLM

NVIDIA 以開源的 TensorRT-LLM 強化 NVIDIA H100 GPU 的大型語言推論性能，具經最佳化調整內核、前處理與後處理步驟及多 GPU 、多節點通訊基元

NVIDIA 能在 AI 領域持續引領風騷，不僅只是靠出色的硬體以及在對的時間推出合宜的產品，更重要的是長期在軟體與社群耕耘，並持續與產業夥伴開發各式工具降低進入 AI 領域的門檻； NVIDIA 於 2023 年 9 月宣布將在未來幾週公布開源的 NVIDIA TensorRT-LLM 軟體，強調將使開發者不須深厚的 C++ 或 NVIDIA CUDA 即可嘗試新的大型模型，並提供峰值效能與快速自訂功能。 NVIDIA TensorRT-LLM 已開放早期適用，預計在不久後整合至隸屬 NVIDIA AI Enterprise 的 NVIDA NeMo 框架。TensorRT for Larg

Chevelle.fu

1 年前

產業消息 nvidia gpu vmware 虛擬化大型語言模型生成式AI LLM

VMWare 攜手 NVIDIA 推出 VMWare Private AI Foundation with NVIDIA ，協助企業在公眾雲環境安全且高效率的使用生成式 AI 技術

VMWare 於 2023 年 VMware Explore 大會宣布與 NVIDIA 合作，針對當前火熱生成式 AI 成立 VMWare Private AI Foundation with NVIDIA ，使企業能在安全、確保資料隱私的前提高效率且具擴充性於 VMWare 的平台使用完整的 NVIDIA AI Enterprise 資源與技術，同時企業可透過直連 GPU 或虛擬 GPU ( vGPU )進行擴展，使用最多 16 個 vGPU 進行 AI 模型訓練。 VMWare 預計於 2024 年初與 NVIDIA 共同推出 VMWare Private AI Foundation wi

Chevelle.fu

1 年前

遊戲天堂 nvidia NPC 大型語言模型生成式AI LLM NVIDIA ACE

Gamescon 2023 ： NVIDIA 為基於生成式 AI 的遊戲 NPC 技術 NVIDIA ACE 添加 NeMo SteerLM ，開發者能針對角色特性進一步進行個性化訓練

NVIDIA 在 2023 COMPUTEX 針對下一代遊戲 NPC (非玩家角色)提供稱為 NVIDIA ACE 的生成式 AI 技術，結合大型語言模型、 Audio2Face 角色臉部表情對應等套件，使遊戲開發者能作為與 AI 語音助理相似的自然反應 NPC ； NVIDIA 在 2023 Gamescon 進一步公布使開發者能針對 NVIDIA ACE 所使用的語言模型進行訓練的 NeMo SteerLM 。 ▲ NVIDIA ACE 是結合 Riva 語言轉文字、 NeMo 大型語言模型、 Audio2Face 技術 NVIDIA ACE 套件是結合 NVIDIA Riva 的語言轉文

Chevelle.fu

1 年前

友站推薦