產業消息 微軟 AI meta 大型語言模型 生成式AI LLM LLaMA Llama 2 Meta 攜手微軟宣布新一代大型語言模型 Llama 2 ,免費開放研究與商業使用、與高通合作移植到 Snapdragon 平台裝置 由於生成式 AI 的盛行與硬體技術不斷突破,作為對話應用與生成式 AI 基礎的大型語言模型的開發與研究進展也更為加速; Meta 宣布全新一代的開源大型語言模型 Llama 2 ,強調將免費提供研究與商業使用,同時強化與微軟 Microsoft 的長期合作關係,微軟將成為 Llama 2 商用化的特選夥伴,另外亦宣布攜手高通,將把 Llama 2 移植到基於 Snapdragon 技術的平台強化邊際 AI 技術; Meta 允諾負責人的建構 Llama 2 ,同時也將協助開發者落實相同承諾。 Llama 2 將自即日起於 Azure AI 模型目錄上線,開發者可透過 Micrososft Az Chevelle.fu 1 年前
產業消息 Android pc AI meta snapdragon 8cx Snapdragon 8 Gen 3 大型語言模型 LLM Llama 2 高通宣布與 Meta 合作強化終端 AI 技術,自 2024 年起為旗艦智慧手機與 PC 提供 Llama 2 大型語言模型技術 高通積極推廣混合式 AI 概念,並強調借助使終端設備具備更強大的 AI 性能,能夠縮減使用延遲並提升個人隱私;高通在 2023 年的 Snapdragon Summit 前夕宣布與 Meta 合作,雙方將針對使邊際設備執行 Meta 的 Llama 2 大型語言模型進行合作,提供 2024 年的旗艦手機、 PC 平台能夠獨立執行 Llama 2 ,不需仰賴連接到雲端平台。高通最終的目標是使除了智慧手機、 PC 以外野能在 VR / AR 頭戴設備與汽車執行 Llama 2 等生成式 AI 。 高通與 Meta 的目標是提供 2024 年的高階 Snapdragon 平台能執行 Liama 2 Chevelle.fu 1 年前
科技應用 meta 大型語言模型 LLaMA Meta 計劃將大型語言模型 LLaMA 商業化 提升市場競爭力 Meta正計劃將其大型語言模型LLaMA商業化,讓企業和新創公司可以使用此模型來創建應用服務,提高對OpenAI、Google和微軟等公司的競爭力。 金融時報報導指稱,Meta準備將今年初公佈的大型語言模型LLaMA (Large Language Model Meta AI)轉為商用,讓企業或新創業者能以此模型建立應用服務。 而將LLaMA轉為商用,預期Meta將以此與OpenAI、Google、微軟在內業者競爭。 在先前公布細節中,LLaMA參數規模介於70億組至650億組,並且能在單張顯示卡上完成運算,因此凸顯其應用彈性。 新版商用版本預計以更廣泛形式對外提供使用,並且允許企業以客製化形 Mash Yang 1 年前
產業消息 AMD 深度學習 加速器 NVIDIA A100 Instinct MI200 大型語言模型 LLM MosaicML 結合 PyTorch 2.0 與 ROCm 5.4 的 AMD Instinct MI250 已在大型語言模型逐漸追上 NVIDIA A100 受到 NVIDIA 先期投入市場的軟硬體優勢, AMD 的 Instinct MI200 加速器系列雖獲得美國橡樹嶺實驗室新一代超級電腦 Frontier 採用,但市場討論度則仍較 NVIDIA 來的少;不過 AMD 也正努力的持續自軟體與硬體兩方面強化,根據 MosaicML 公布的部落格文章, AMD 的 Instinct 250 在 PyTorch 2.0 與 ROCm 5.4 的雙重加持下,已有著趨近 NVDIA A100 的效能,同時不須針對 AMD Instinct 修改代碼即可進行大型語言模型 LLM 訓練。 MosaicML 的官方部落客表示其軟體 MosaicML 可為 NV Chevelle.fu 1 年前
產業消息 AI MLPerf NVIDIA H100 ChatGPT 大型語言模型 生成式AI LLM NVIDIA H100 GPU 於 MLPerf 首次亮相即創下生成式 AI 新標竿, CoreWeave 的 H100 GPU 集群在 11 分鐘完成 GPT-3 模型訓練 在 AMD 、 Intel 仍將 AI 性能指標的對照組放在前一世代的 NVIDIA A100 ,新一代的 NVIDIA H100 已經蓄勢待發; NVIDIA 宣布 NVIDIA H100 GPU 在 MLPerf 基準測試的首次亮相即位生成式 AI 樹立全新指標,由雲服務商 CoreWeave 以 3,584 個 NVIDIA H100 構成的大型集群在 11 分鐘內完成基於 GPT-3 大型模型的訓練,顯示 NVIDIA H100 在生成式 AI 的大型語言模型訓練有飛躍性的突破表現。 NVIDIA 預計在 2024 年公布 NVIDIA H100 後繼的 AI HPC 加速 GPU 產 Chevelle.fu 1 年前
產業消息 AI 雲端 大型語言模型 生成式AI NVIDIA NeMo LLM Snowflake Snowflake 與 NVIDIA 合作,整合 NVIDIA NeMo 助企業於 Snowflake 資料雲打造自定義大型語言模型 現在許多企業皆希望能導入客製化的大型語言模型,作為進行數位轉型或是加速特定流程的手段,不過若企業從無到有建立大型語言模型需要花費漫長的時間,但隨著 NVIDIA 與多家知名雲服務商攜手提供基於雲的大型語言模型技術後,使企業得以以低成本、短時間取得大型語言模型技術;知名雲服務商 Snowflake 在年度活動 Snowflake 宣布攜手 NVIDIA ,將 NVIDIA NeMo 技術整合到 Snowflake 資料雲端服務,使企業能在 Snowflake 資料雲端使用自有專用資料建構自定義的大型語言模型。 ▲ NVIDIA NeMo 能使企業與開發者在雲環境輕鬆建構客製化的大型語言模型 NV Chevelle.fu 1 年前
產業消息 AMD apu 加速器 大型語言模型 生成式AI LLM Instinct MI300X Instinct MI300A AMD 正式公布 Instinct MI300A 資料中心級 APU 與針對生成式 AI 的 Instinct MI300X 加速器,皆為小晶片架構與 HBM3 記憶體 AMD 在 2023 年 6 月中資料中心發表會的重頭戲,即是宣布全新的 Instinct 300 系列加速器產品,除了已於 CES 預告的首款資料中心級 APU 產品 Instinct MI300A 以外,還有鎖定生成式 AI 需求、高達 192GB HBM3 記憶體的 Instinct MI300X 加速器; Instinct MI300A 與 Instinct MI300X 皆採用小晶片設計,混合 5nm 與 6nm 製程晶粒。以產品特質而言, Instinct MI300A 與 Instinct MI300X 頗有與 NVIDIA 的 Grace Hopper Superchip 與 Chevelle.fu 2 年前
科技應用 蘋果 大型語言模型 蘋果正在開發自有的大型語言模型並加強人工智慧安全 蘋果正在開發自家的大型語言模型,並禁止員工使用如Github的Copilot等自動編碼工具,以及ChatGPT等AI工具,以防止內部資訊的洩露。 華爾街日報報導指稱,蘋果目前正在著手建立自有大型語言模型,將由曾在Google負責人工智慧業務的John Giannandrea負責帶領研發。 同時,報導更指稱蘋果內部禁止員工使用諸如Github的Copilot等自動編寫程式碼工具,甚至也要求員工避免使用ChatGPT等人工智慧工具服務,避免內部機密資訊外洩。 在此之前,不少曾在蘋果內部任職員工表示,蘋果目前在Siri數位助理服務,以及人工智慧技術推進發展受限,同時也未能順利保留足夠技術人才發展人工 Mash Yang 2 年前
科技應用 OpenAI 人工智慧技術 ChatGPT 大型語言模型 OpenAI 可能將推出新的開源語言模型 OpenAI可能即將公開一款新的開源語言模型,但可能並非大型語言模型如GPT-4。 The Information網站取得消息指出,OpenAI將準備對外公開一款全新開源語言模型,但可能不是類似GPT等大型語言模型產品。 不過,OpenAI方面並未對此作任何回應,而OpenAI執行長Sam Altman日前則表示近期並未計畫投入GPT-4下一代大型自然語言模型訓練,因此即便推出新款語言模型,有可能是針對開源社群應用需求打造的產品。 在OpenAI因為ChatGPT技術在市場獲得大量關注,並且帶動更大自動生成式人工智慧技術應用趨勢,目前包含微軟、Google、AWS等科技業者都相繼擴大此類人工智 Mash Yang 2 年前
產業消息 nvidia 大型語言模型 NVIDIA NeMo LLM NVIDIA 公布開源的 NeMo Guardrails 軟體,協助大型語言模型準確、適當的同時也能切題與安全 隨著 ChatGPT 為首引領生成式 AI 的浪潮,原本艱深的生成式 AI 與自然語言互動聊天成為一般人得以一親芳澤的新生活技術,不過與此同時也有許多人擔憂生成式 AI 蓬勃發展的背後缺乏一道最後的道德防線;作為在這波生成式 AI 的硬體技術領導廠商的 NVIDIA 宣布推出開源軟體 NeMo Guardrails ,旨在協助企業使用基於大型語言模型( LLM )為基礎的生成式 AI 時,能夠作為一道護欄,確保應用能符合其安全要求。 NeMo Guardrails 將透過 GitHub 以開源形式提供,或企業亦可透過 NVIDIA AI Enterprise 取得完整的企業支援服務。 NVID Chevelle.fu 2 年前