LLM 全攻略 (150772) - Cool3c

最新 | 熱門

在 AWS 上打造 RAG 生成式 AI 解決方案的終極指南

在當今日新月異的科技發展中，生成式人工智能 (AI) 無疑是最引人注目的領域之一。透過大型語言模型 (LLM) 的強大能力，我們可以自動生成高品質的文本內容，從而在各種領域發揮創新的應用。然而， LLM 在缺乏領域知識的情況下，往往難以產生內容豐富、富有洞見的輸出。這就是 Retrieval Augmented Generation (RAG) 技術大放異彩的時候。 RAG 是一種革命性的機器學習架構，能夠將外部知識源 ( 如維基百科 ) 無縫整合到 LLM 中，從而賦予模型領域專業知識。通過搭載 RAG ， LLM 不僅能生成流暢的自然語言，更能產出準確、內容豐富的專業知識輸出。這種強大的組

透過向量檢索增強，打造高度可信賴的生成式AI內容

生成式人工智能 (Generative AI) 近年來風靡全球，其能夠回答問題、撰寫故事、創作藝術，甚至生成程式碼，令人驚嘆不已。然而，要打造一款高準確度的生成式 AI 應用程式，需要結合領域特定的資料，才能真正發揮其威力。透過向量檢索增強生成 (Retrieval Augmented Generation ， RAG) 技術，就能將您的企業資料與大型語言模型 (Large Language Model ， LLM) 完美融合，打造出高度相關、內容豐富且安全可靠的生成式 AI 應用程式。生成式 AI 應用準確度的重要性生成式 AI 應用程式的核心是 LLM ，這是一種在海量資料 ( 如網際

APMIC攜手Twinkle AI推出可在手機端執行的台灣在地化繁中推論模型Formosa-1，同時推出推論模型測試工具Twinkle Eval

隨著基於大型語言模型、多模態模型的各式生成式AI廣為流行，同時智慧手機、筆電也紛紛具備足以在裝置端執行小規模大型語言模型的能力，輔以DeepSeek的推波助瀾，現在越來越多生成式AI提供精巧且高效能的小參數版本，不過畢竟每個國家國情不同，更需要針對在地化語言、風俗的模型；其中於2017年於台灣創立、並為NVIDIA微調模型生態系夥伴的APMIC與繁中語言模型研究社群Twinkle AI宣布推出足以在智慧手機執行的3B參數推論模型Formosa-1，同時雙方也開發評測框架Twinkle Eval。 APMIC與Twinkle AI宣布將持續強化合作，共同推動繁體中文AI生態發展 Formosa-

Chevelle.fu

Loop Capital指稱蘋果斥資10億美金訂購NVIDIA GB300 NVL72系統，美超微、Dell為採購夥伴

由於蘋果長年與NVIDIA的心結，加上蘋果公布Apple Intelligence透露其AI模型是由Google TPU所訓練，外界預期蘋果在這場AI大戰不會選擇使用當前業界最火熱的NVIDIA GPU加速平台；然而資本市場公司Loop Capital卻指稱蘋果擬定10億美金採購計畫，將與美超微、Dell合作訂購基於NVIDIA GB300 NVL72的運算系統。Loop Capital指稱蘋果將以10億美金採購約250套的GB300 NVL72系統。 The hidden cost of in-house ASIC design is - time. The reality is that

Chevelle.fu

Arm執行長Rene Hass看衰DeepSeek，認為很快就會步TikTok後塵被美國禁止

DeepSeek的出現攪亂AI發展的一池春水，尤其在農曆年前閃電曝光的前幾天除了各大新聞版面鋪天蓋地的報導以外，也直接衝擊到AI晶片相關產業，直至現在已經步入2025年的2月仍有不少餘波；不過Arm執行長Rene Hass在接受Financial Times專訪時直言，他認為DeepSeek在美國很快就會步入TikTok後塵被禁止，Rene Hass表示倘若TikTok在美國被禁，DeepSeek也會由於相同的理由在中國被禁、亦即牽涉到資料送往中國的問題。 ▲Rene Haas認為DeepSeek雖為AI市場帶來驚嘆號，但背後卻沒有太多革命性的技術 Rene Haas闡述他對DeepSeek的

Chevelle.fu

Red Hat 收購 Neural Magic 強化 AI 解決方案能力

Red Hat 宣布收購自動生成式人工智慧軟體與演算法公司 Neural Magic，提升其在混合雲環境中部署高效能 AI 工作負載的能力，為企業提供更靈活的 AI 解決方案。 Red Hat近期宣布收購自動生成式人工智慧軟體及演演算法業者Neural Magic，藉此推動在跨混合雲環境中任何位置都能實現高效能人工智慧工作負載。目前多數人工智慧都是透過大型自然語言模型 (LLM)支撐運作，同時多半是由大型科技業者打造、營運，一般企業多半不太有足夠資源支撐自建、維護大型自然語言模型，因此較難使用全客製化、佈署就緒且具安全性的人工智慧技術。而藉由Neural Magic在vLLM推論框架的技術

Mash Yang

NVIDIA推出適用於視訊搜尋與周要的NVIDIA AI Blueprint，協助產業開發者分析視訊與影像內容

NVIDIA於智慧城市世界大會開展前夕宣布基於NVIDIA Metropolis視覺AI應用工具的NVIDIA AI blueprint(AI藍圖)，NVIDIA AI Blueprint適用於視訊搜尋與摘要，可協助幾乎所有產業的開發者建立可分析視訊與影像內容的視覺AI代理，建構在NVIDIA AI Blueprint的AI代理能用於回答問題、產生摘要與針對特定情境啟用警示，相較傳統需使用死板的軟體程式碼，使用者可利用自然語言提示客製化這些視覺AI代理，進一步降低產業與智慧城市部署AI助理的門檻。包括埃森哲(Accenture)、Dell Technologies與聯想集團等全球系統整合商及

Chevelle.fu

照片中提到了LINE OF、NVIDIA、NVIDIA，跟英偉達、英偉達有關，包含了電腦展 GB200、2024 台北國際電腦展、布萊克威爾、英偉達

NVIDIA Blackwell正式於MLPerf Inference基準測試活動亮相，於Llama 2 70B推論性能提升4倍

NVIDIA在2024年3月的GTC大會公布全新架構的Blackwell加速器，隨著Blackwell步入量產急將出貨，Blackwell首次於MLPerf Inference v4.1基準測試活動亮相，並在所有資料中心測試項目刷新紀錄，其中於處理MLPerf最大LLM工作量的Llama 2 70B，相較NVDIA H100 Tensor Core GPU高出4倍。 ▲Blackwell首次測試的成績相當亮眼雖然Blackwell仗著新架構刷新各項紀錄，然而基於Hopper架構的NVIDIA H200 Tensor Core GPU也在此輪的於MLPerf Inference基準測試有亮眼的

Chevelle.fu

照片中跟Kubernetes有關，包含了英偉達微服務、英偉達、微服務、英偉達、圖形處理單元

NVIDIA推出Mistral-NeMo-Minitron 8B語言模型，僅有80億參數規模但精度不遜120億版本

現在在邊際裝置執行大型語言模型的困難是參數規模，理論上相同技術但參數越大具備更優異的精確度與性能，不過考慮到邊際裝置的運算性能、記憶體等條件，又需要在規模與性能取捨；NVIDIA繼2024年7月攜手Mistral AI公布開源Mistral NeMo 12B模型後，再度推出以其為基礎精簡的Mistral-NeMo-Minitron 8B，雖然參數規模自120億縮減至80億，但精度與性能毫不遜色，足以於NVIDIA RTX技術驅動的工作站執行聊天機器人、虛擬助理、內容生成等應用。此外，對於希冀在算力與記憶體更有限的設備執行特定功能的邊際運算生成式AI，如智慧手機、機器人、嵌入式平台執行更小規模

Chevelle.fu

照片中提到了Snapdragon is a product of Qualcomm Technologies, Inc. and/or its subsidiaries.、Snapdragon、7s，跟高通公司有關，包含了塔樓、手機、摩天大廣告、公寓、功能手機

高通公布Snapdragon 7s Gen 3平台，將能執行大型語言模型的AI下放至平價手機

雖然AI功能已經廣泛使用在智慧手機，不過當前提到AI手機，則莫過於需要支援生成式AI功能，只是目前真正可執行生成式AI的智慧手機多為高階機種以上，但高通正開始使主流機型也能享受生成式AI，使更多用戶感受AI與生活的結合；高通宣布推出Snapdragon 7s Gen 3平台，除了增強的性能以外，還可支援如Baichuan-7B、1B級的Llama 2等大型語言模型。搭載Snapdragon 7s Gen 3的裝置預計於2024年9月問世，包括Realme、三星、Sharp、小米等都將推出採用Snapdragon 7s Gen 3的終端產品。 ▲Snapdragon 7s Gen 3強調可執行大

Chevelle.fu

友站推薦

Meta 傳 Llama 3 七月推出！回文標準更寬了，能回答爭議性更大的問題

INSIDE - Jocelyn

Meta 傳 Llama 3 七月推出！回文標準更寬了，能回答爭議性更大的問題

LLM 軍備競賽下，小型 AI 模型更會出頭天？

INSIDE - Juni

LLM 軍備競賽下，小型 AI 模型更會出頭天？

【Howie 商業投資】AI 怎麼用？大型語言模型的四種企業應用

INSIDE - Howie Su

【Howie 商業投資】AI 怎麼用？大型語言模型的四種企業應用

本土繁體中文 LLM 來了！華碩台智雲推出「FFM-Llama 2」

INSIDE - INSIDE 硬塞的網路趨勢觀察

本土繁體中文 LLM 來了！華碩台智雲推出「FFM-Llama 2」

DarkBERT：誕生自暗網的 AI，卻要為資安盡一份力

INSIDE - Chris

DarkBERT：誕生自暗網的 AI，卻要為資安盡一份力

你知道 ChatGPT 怎麼運作嗎？OpenAI 用GPT-4 來理解 GPT-2 是什麼

INSIDE - INSIDE 硬塞的網路趨勢觀察

你知道 ChatGPT 怎麼運作嗎？OpenAI 用GPT-4 來理解 GPT-2 是什麼

前員工爆：蘋果對 LLM 無感，在 AI 已嚴重落後

INSIDE - Mashdigi

前員工爆：蘋果對 LLM 無感，在 AI 已嚴重落後

Google、微軟競爭再起！Google Cloud 推新平台，搶佔資安領域生成式 AI 應用

INSIDE - INSIDE 硬塞的網路趨勢觀察

Google、微軟競爭再起！Google Cloud 推新平台，搶佔資安領域生成式 AI 應用

相關文章