GTC 2025:NVIDIA推出Llama Nemotron開源推論AI模型系列,協助開發者與企業建構代理型AI平台

2025.03.19 04:38AM

NVIDIA之所以在AI領域一枝獨秀的關鍵在於強大的硬體及豐富軟體生態系的結合,使開發者能受益容易使用的AI工具、模型進行開發;NVIDIA在GTC 2025主題演講宣布提供具推論能力的開源Llama Nemotron模型系列,針對開發者與企業提供商業就緒的基礎,使其可建立具備獨立作業或由多個AI模型相互結合的先進AI代理。包括埃森哲、Amdocs、Atlassian、Box、Cadence、Crowdstrike、德勤、IQVIA、微軟、SAP及ServiceNow等皆攜手NVIDIA推出全新的推論模型與軟體。

NVIDIA Llama Nemotron Super模型與NIM微服務將透過託管應用程式介面形式於在build.nvidia.com與Hugging Face提供下載,NVIDIA開發人員計畫會員可免費取得用於開發、測試與研究;企業則可在加速資料中心與雲端基礎設施透過NVIDIA AI Enterprise平台使用Lalma Nemotron NIM微服務,當前開放開發者註冊獲取開放服務的通知;NVIDIA AI-Q Blueprint預計在2025年4月推出,當前相關工具NVIDIA AgentIQ已經可在GitHub取得。

▲NVIDIA Llama Nemotron是以Llama為基礎進行增強後期訓練的開源推論模型,相較原始模型改善多步驟數學、程式撰寫、推論與複雜決策性能

NVIDIA Llama Nemotron開源推論模型以Llama模型為基礎,提供隨選的AI推論功能,並進行增強的後期訓練,NVIDIA利用NVIDIA Nemoton模型產生的高品質合成資料與NVIDIA的精選資料集在NVIDIA DGX Cloud進行大規模訓練,改善基礎模型的多步驟數學、程式撰寫、推論與複雜決策;相較原始模型,Llama Nemotron提高20%的模型接準度,並與其它領先的開源推論模型提升5倍表現。NVIDIA也將公開開發模型所需的工具、資料集與後期訓練最佳化技術,便於企業、開發者靈活的以Llama Nemotron微基礎建構客製化的推論模型。

Llama Nemotron提供Nano、Super與Ultra三種參數規模,並由NVIDIAS NIM微服務乘載,因應不同的代理式AI需求提供差異化;Nano規模的模型適合在運算性能受限的PC與邊際裝置提供最高的精確度,而Super模型則可在單一加速GPU提供絕佳的準確度與高吞吐量,Ultra模型適合在GPU伺服器展現強大的表現。

開發者可利用NVIDIA代理型AI工具與部署Llama Nemotron推論模型簡化協作式AI的進階推論的過程,NVIDIA AI Enterprise也同時增添全新代理型AI模組,包括全新的NVIDIA NIM微服務、NVIDIA NeMo微服務;當中包括使企業的知識連結至可自主感知、推論與行動的NVIDIA AI-Q Blueprint,透過NVIDIA AI-Q Blueprint整合NVIDIA NeMo Retriever進行多模態資訊檢索,並結合開源的NVIDIA AgentIQW工具套件實現代理與資料的連結、最佳化與透明度;此外NVIDIA AI Data Platform則是具備自訂能力的參考設計,適用於以NVIDIA AI-Q Blueprint建構、具有AI查詢代理的企業基礎設施。

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
2 天前
App
三星One UI 8以Android桌面模式取代DeX
Chevelle.fu
2 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
開箱評測
和「那個鍵盤」相似的款式只要1290元 我的手指告訴我這可以買
Gizmodo Japan
1 天前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
8 天前
快訊
搭載 Chatgpt 的滑鼠,還能射出雷射光!Cheerdots2 可拆卸智能滑鼠,最棒的隨身助理
Shopping guide
1 天前
開箱評測
3coins緊急用壓縮襪:布料輕薄、夏天穿也不悶熱
Gizmodo Japan
1 天前
開箱評測
經濟實惠 3coins多功能工具組實在太優秀了
Gizmodo Japan
1 天前
遊戲天堂
PlayStation無線格鬥搖桿定名FlexStrike 方向範圍可透過快拆檔片限制方形、圓形或八角形
Chevelle.fu
1 天前