
TensorRT-LLM 將提供 Windows 平台版本,助力生成式 AI 於 PC 提升 4 倍效能並支援 Llama 2 與 Code Llama 等新式 LLM
NVIDIA 宣布原本供資料中心使用的 TensorRT-LLM 將登陸 Windows 平台,使生成式 AI 於具備 RTX 硬體的 PC 提升 4 倍的效能, TensorRT 能為如 Llama 2 、 Code Llama 等新一代代行語言模型加速推論效能; NVIDIA 也同步推出協助開發者加速 LLM 執行的工具,包括使自訂模型可相容 TensorRT-LLM 的腳本、 TensorRT 最佳化的開源模型與展示 LLM 反應速度與品質的開發人員參考專案。此外, TensorRT 加速技術可用於 Automic 1111 發布的熱門 Web UI 的 Stable Diffusion
1 年前