Llama 2 全攻略 (152693)

雲端服務 meta SageMaker Llama 2 AWS AI JumpStart

生成式AI開箱終極攻略：如何在 Amazon SageMaker JumpStart 上探索和微調生成式 AI 模型 Llama 2

Meta 開發的 Llama 2 基礎模型現已在 Amazon SageMaker JumpStart 中提供 Meta 開發的 Llama 2 基礎模型現已透過 Amazon SageMaker JumpStart 提供給客戶進行微調和部署。Llama 2 大型語言模型 (LLM) 家族是一系列預先訓練和微調的生成文字模型，其規模從 70 億到 700 億參數不等。經過微調的 LLM，稱為 Llama-2-chat，已針對對話使用案例進行優化。您可以輕鬆試用這些模型，並透過 SageMaker JumpStart 使用它們，SageMaker JumpStart 是一個機器學習 (ML) 中

5 個月前

產業消息 Snapdragon 高通大型語言模型生成式AI LLM Llama 2 Snapdragon 7s Gen 3

高通公布Snapdragon 7s Gen 3平台，將能執行大型語言模型的AI下放至平價手機

雖然AI功能已經廣泛使用在智慧手機，不過當前提到AI手機，則莫過於需要支援生成式AI功能，只是目前真正可執行生成式AI的智慧手機多為高階機種以上，但高通正開始使主流機型也能享受生成式AI，使更多用戶感受AI與生活的結合；高通宣布推出Snapdragon 7s Gen 3平台，除了增強的性能以外，還可支援如Baichuan-7B、1B級的Llama 2等大型語言模型。搭載Snapdragon 7s Gen 3的裝置預計於2024年9月問世，包括Realme、三星、Sharp、小米等都將推出採用Snapdragon 7s Gen 3的終端產品。 ▲Snapdragon 7s Gen 3強調可執行大

Chevelle.fu

11 個月前

科技應用 Llama 2 Phi-3 Mini 微軟研究人員

微軟推出 38 億參數輕量級 AI 模型 Phi-3 Mini 可於行動裝置執行

微軟發布 Phi-3 Mini 自然語言模型，僅需38億參數，可提高行動裝置上的運作效能，並與大型模型如 Llama 2 匹敵。在諸多科技業者均提出可用於行動裝置上執行的大型自然語言模型之後，微軟研究人員提出名為Phi-3 Mini、規模更小的大型自然語言模型，僅以38億組參數規模運作。微軟研究人員表示，Phi-3 Mini相比先前推出的Phi-2參數規模更大一些，同時運作效能可比擬Meta提出的大型自然語言模型Llama 2，本身基於Phi-2模型設計，並且以嚴格過濾的網路數據與合成數據進行訓練，同時僅以38億組參數執行運作，能在行動裝置上以更輕巧形式使用。而Phi-3 Mini的設計

Mash Yang

1 年前

產業消息 Sharp OnePlan Realme Snapdragon 7 大型語言模型 LLM Llama 2 Gemini Nano Baichuan-7B

高通公布Snaspdragon 7+ Gen 3，支援生成式AI、CPU與GPU分別提升15%與45%

雖然應該不少關注中國品牌手機的消費者已經從幾天前的品牌預告提前知道這款平台，高通在公布Snapdragon 8s Gen 3後，於2024年3月21公布Snapdragon 7+ Gen 3，強調將支援廣泛的大型語言模型，以及具備更出色的CPU與GPU效能，同時還是Snapdragon 7系列首度支援Wi-Fi 7 HBS多重連接技術的平台。 Snapdragon 7+ Gen 3將率先由OnePlus、realme與SHARP等主要OEM採用，商用裝置預計在幾個月內推出。 ▲Snapdragon 7+ Gen 3特色 Snapdragon 7+ Gen 3是將生成式AI進一步往主流市場下放的

Chevelle.fu

1 年前

產業消息 nvidia AI 伺服器聊天機器人 HPE 生成式AI NVIDIA NeMo Llama 2 NVIDIA L40S

慧與科技在HPE Discover大會宣布攜手NVIDIA打造企業級的生成式AI解決方案

現在NVIDIA作為生成式AI的最強勢硬體供應商，系統整合產業業者無不積極與NVIDIA攜手提供產業所需的解決方案。HPE慧與科技於年度盛事HPE Discover大會宣布擴大與NVIDIA的合作，為企業打造企業級的生成式AI解決方案；強調透過雙方共同設計、預先配置的人工智慧與推論解決方案，使企業能快速自訂基礎設施並使用自有資料訓練模型，同時於邊際到雲端部署基於生成式AI的客製化應用與服務，簡化開發與部署生成式AI基礎架構的複雜性。雙方合作的全新解決方案預計於2024年第一季正式推出 HPE與NVIDIA雙方合作開發全端、開箱即可用的AI解決方案，包括HPE機器學習開發環境軟體、PE Ezm

Chevelle.fu

1 年前

產業消息 Snapdragon 8 Gen 3 大型語言模型生成式AI LLM Llama 2 INT4

Snapdragon Summit 2023 ：高通表示理論上配有 8GB RAM 的 Snapdragon 8 Gen 3 手機就能夠執行 70 億參數大型語言模型，一切都感謝 INT4 (後面有手機執行生成式 AI 畫圖的示範短片)

高通 Snapdragon 8 Gen 3 主打的重要特色是足以在手機執行 100 億以上參數的大型語言模型 LLM 的 AI 運算效能，不過若對 AI 有一定的理解，可能會優先質疑是否手機需要搭載龐大容量的記憶體才足提供執行 100 億參數所需的容量；在跟高通的工作人員詢問後，若是要在 Snapdrgaon 8 Gen 3 執行像是 70 億個參數的 Llama 2 模型，其實 8GB 容量的標準規格旗艦手機理論上就綽綽有餘了，其中的關鍵就是 Snapdragon 8 Gen 3 支援精度媲美 INT8 的 INT4 ，以及與 AI 產業夥伴針對 INT4 進行最佳化。 ▲榮耀 Honor

Chevelle.fu

1 年前

產業消息 Snapdragon XR Auracast 大型語言模型 LLM Llama 2

Snapdragon Summit 2023 ：高通透過情境展示 Snapdragon 如何結合 AI 豐富日常生活

高通 Snapdragon Summit 2023 的主軸重點之一即是能以在裝置執行 AI ，不過提到 AI 如何強化日常的生活體驗，多數人恐怕除了聯想到手機品牌在行銷時不斷強調 AI ，在一時之間可能也想不到 AI 到底被使用在甚麼地方；高通為了使參加者更容易理解 Snapdragon 平台結合下一代 AI 技術如何增強日常生活體驗，透過情境展示介紹自個人助理、結合生成式 AI 的增強影像、透過手機與 XR 眼鏡的智慧健身以及新一代藍牙 LE Audio 技術當中的 Auracast 廣播。利用大型語言模型激盪想法與迅速找尋解決問題的辦法 ▲透過大型語言模型使 AI 寫一首詩詞 ▲利用大型

Chevelle.fu

1 年前

產業消息 sensing adreno 光線追蹤 Unreal Engine 5 Snapdragon Sight Snapdragon 8 Gen 3 Cortex-X4 Cortex-A720 Cortex-A520 生成式AI Llama 2 INT4

Snapdragon Summit 2023 ：高通 Snapdragon 8 Gen 3 的 AI 足以執行 100 億參數 AI 模型，單機即可處理 Pixel 8 Pro 需上傳雲端的夜間影片增強

高通於在夏威夷茂宜島舉辦的 Snapdragon Summit 2023 活動的重頭戲之一，即是作為 2022 年底與 2023 年度旗艦手機平台的 Snapdragon 8 Gen 3 ，此次除了以 1 個 Prime Core 搭配 5 個性能核及 2 個節能核的新 CPU 架構、大幅強化的 Adreno GPU 構成的基礎效能再度提高以外，更著重因應生成式 AI 的處理能力，高通強調 Snapdragon 8 Gen 3 足以處理達 100 一個參數以上的大型語言 AI 模型，並且可在一秒產生 15 個詞元，能夠在單機執行生成式 AI 以及 Google Pixel 8 Pro 需透過雲

Chevelle.fu

1 年前

科技應用亞馬遜 PaLM 2 Llama 2 Titan Text

史丹佛大學評比大型自然語言模型透明度，Meta Llama 2 奪冠，亞馬遜 Titan Text 墊底

史丹佛評估指標包括模型的運作模式、架構、監控機制等，認為目前的大型自然語言模型都還不夠透明，不建議企業或政府機構使用這些模型來提供服務。史丹佛大學人本人工智慧學院 (Stanford University Human-Centered Artificial Intelligence,Stanford HAI)稍早公布10款被大量採用的大型自然語言模型透明度指標，其中獲得最高分的是Meta旗下Llama 2，而排名最低的則是亞馬遜旗下Titan Text，至於OpenAI的GPT-4則在排名第四，Google的PaLM 2則位居第五，在Stability.ai排名之後。不過，報告中也指出即便

Mash Yang

1 年前

雲端服務中研院 ChatGPT 生成式AI Llama 2 CKIP-Llama-2-7b

中研院開發AI語言模型下架因各種測試皆表明自己是中國籍

應該是訓練的資料都是簡體轉繁體造成的，生肉都來自於中國訓練的結果當然也是，不過中研院也聲明這只是一個個人的小型研究，並不是所謂的「台灣版ChatGPT」，目前也將測試版從網站上下架。由中研院開發的繁體中文語言模型AI，網友實測提問，卻自動回覆「我的國籍是中國」。中研院今天表示，模型產生內容出乎預期，也是未來要努力改善的地方，已將測試版先下架。根據中央研究院網站說明，CKIP-Llama-2-7b是中央研究院詞庫小組（CKIP）開發的開源可商用繁體中文大型語言模型（large language model），以商用開源模型Llama-2-7b以及Atom-7b為基礎，再補強繁體中文的處理能力

中央社

1 年前

相關文章