Meta 推出參數規模達 700 億的 Llama 3.3 人工智慧模型，效能超越亞馬遜近期推出的 Nova。
今年7月推出參數規模高達4050億組的人工智慧模型Llama 3.1之後，Meta近期接續公布參數規模達700億組的Llama 3.3，標榜執行效能表現與參數規模達4050億組的人工智慧模型Llama 3.1相當，甚至超越亞馬遜近期公布的Nova模型。
此次推出參數規模達700億組的Llama 3.3，本身是以多語言大型自然語言模型形式打造，以超過15兆以上字詞進行預先訓練，並且藉由公開指令集與超過2500萬筆合成資料進行微調，目前已經以開源形式透過GitHub及Hugging Face託管提供使用。
而Llama 3.3採用Transformer架構自動回推 (auto-regressive)語言模型，並且透過監督式微調 (supervised fine-tuning，SFT)，加上人類反饋強化學習 (reinforcement learning with human feedback，RLHF)機制，讓模型產生結果更符合預期需求，同時確保生成結果正確性與安全性，另外也透過群組查詢注意力 (Grouped-Query Attention,GQA)功能，讓模型可透過日後推論擴充可解答內容範圍。
目前Llama 3.3原生可對應英語、德語、西班牙語、葡萄牙語、義大利語、法語、泰語及印度印地語，並且能在微調後對應更多語言運作。
至於運作效能部分，Meta指出Llama 3.3在多任務語言理解，以及包含財務、數學、多任務學習推理等測試項目中，效能超越Llama 3.1 70B、亞馬遜Nova、Google Gemini Pro 1.5、OpenAI GPT-4o，甚至與先前推出的Llama 3.1 405B相當，同時也能對應多語言對話場景，因此相當適合用於多語言商用、研究等情境。
Introducing Llama 3.3 – a new 70B model that delivers the performance of our 405B model but is easier & more cost-efficient to run. By leveraging the latest advancements in post-training techniques including online preference optimization, this model improves core performance at… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024
