NVIDIA 在 2022 秋季 GTC 大會宣布提供基於雲端的大型語言模型 AI 服務,分別是鎖定大型語言模型的 NVIDIA NeMo LLM ,以及將語言模型技術轉化到生物醫學研究、可用於預測分子、蛋白質與 DNA 的 BioNeMo LLM ;借助雲端方式,開發者不需持有昂貴的高效能 AI 模型訓練系統,即可透過雲端服務產生與客製化 AI 模型。
NVIDIA 預計在 10 月提供 NVIDIA NeMo LLM 與 BioNeMo LLM 的 Early Access ;其中可透過 NVIDIA NGC 取得 NeMo Megatron 框架的 Beta 版本,當前已預先針對 NVIDIA DGX Foundry 和 NVIDIA DGX SuperPOD 進行最佳化,可透過 Amazon Web Services、Microsoft Azure 和 Oracle Cloud Infrastructure 的加速雲端實例執行。另外開發者可透過 NVIDIA LaunchPad labs 體驗 NeMo Megatron 框架。
當前大型語言模型是深具改變產業潛力的 AI 應用,隨著 AI 技術發展, 大型語言模型在更為聰明、精確的同時也越來越龐大;此次 NVIDIA 所提供的 NeMo LLM 是使開發者透過在 NVDIA 管理的基礎架構進行快速學習的訓練方式,開發者能透過 NVIDIA 以大型語言模型育訓練的基礎模型進行快速培訓與客製化,使原本須從無到有歷經數周到數月的語言模型訓練縮減為數分鐘到數小時內;而 NVIDIA BioNeMo 服務則是一種雲應用的 API ,將 LLM 大型語言模型轉化到語言以外科學領域,可加速藥物開發與生技研究。
▲ NVIDIA 提供基於 LLM 大型語言模型的雲端訓練服務,應用於語言模型的訓練與客製化、生物科學應用領域
NVIDIA 這兩項雲端大型語言模型 AI 服務利用稱為 p-tuning 的可客製化快速學習技術,開發者能把原本需使用數十億個數據進行訓練的過程,轉化為僅使用數百個範例進行快速客製化模型,此項技術受惠於基於 Megatron 530B 大型語言模型預訓練的成果;透過客製化方式加入所需的資料,並與基礎模型相互結合訓練,即可在短時間完成特定語言應用的模型訓練。一旦將模型調整完成,即可在雲端實例、基礎設施系統或透過 API 執行。
至於 BioNeMo LLM 則是將大型語言模型技術轉化到生物與化學研究的技術,當前提供針對化學與生物學應用的兩種服務,能夠作為蛋白質、 DNA 等數據分析研究使用; BioNeMo 可透過具備數十億個參數的模型擴大工作範圍,借助基於 LLM 的預訓練模型架構進行遷移學習,研究者可投入更大量的蛋白質結構、基因關係甚至是用於治療應用的新型生物分子資料透過 AI 進行模擬。