先進駕駛體驗除了硬體也須要有軟體配合, NVIDIA 在今年 CES 除了宣布針對 Level 2+ 層級的 DRIVE AutoPilot 硬體解決方案以外,也宣布 DRIVE Softwear 更新到 8.0 版,增添更多基於 AI 的新機能,諸如增強感知、視覺化、地圖規劃等。 NVIDIA 預計在 1 月中旬針對開發人員釋出 DRIVE Softwear 8.0 。
DRIVE Softwear 為開放軟體套件,並由 DRIVE AGX 作為其提供背後的運算平台,包含 DRIVE OS 作業系統、 DriveWorks 軟體框架與支援開發自駕程式的 SDK 、包括 DRIVE AV 以及 DRIVE IX 等自駕相關軟體。
透過此次的軟體更新,開發者能夠透過結合車載感測器、駕駛員監控與先進環境感知進行高解析視覺化技術;透過車載視覺化能夠為駕駛提供自駕車的即時視覺能力,可顯示車子感測器所見的情境、如何辨識物體、規畫後續行駛路線與即時變動的視覺資訊,還可透過 AR 技術為駕駛提供更容易理解的資訊。此外 DRIVE Softwear 還更新與改進物體偵測能力,並提供車輛 360 度環景影像。
DRIVE IX 將自動駕駛路線行為與駕駛監控以視覺化呈現
在新版軟體當中, DRIVE IX 可追蹤自駕車的各項輸入資訊與感測資訊,並透過參照即時資訊與先前存放於資料庫的資訊進行路徑規劃,開發者可藉由車內的顯示器讀取車輛行駛資料。
而車輛的資訊視覺化可分為五個階段,包括感測、感知、地圖、規劃與駕駛,首先顯示器會將未經處理的攝影機、感測器資料進行物體偵測,並透過標定物體位置的定界框座為物體偵測程序,同時從最遠距離 50 公里外的物體加上標籤、顯示地圖階段,而顯示畫面可標記自駕車感知的車道線,後續藉由規畫階段顯示車輛將行進的路線,最後在駕駛階段描繪出自駕車的行徑方向、加速與煞車等動作,呈現容易理解的可視化資訊。
此外 DRIVE IX 亦提供駕駛監控,同時也有類似自動駕駛視覺化的階段,將對著駕駛的攝影機影像資訊,透過深度神經網路分析駕駛以臉部與眼睛追蹤判斷是否精神渙散或是分心,並以視覺化方式提醒駕駛與乘客即時分析的過程,同時在偵測到可能有危險情況以警示的紅色調顯示狀態。
DRIVE AV 可提供更複雜的機器視覺分析、更安全的規劃行徑路線
DRIVE Softwear 8.0 也為 DRIVE AV 帶來更先進的機器視覺辨識,其中 LightNet 不僅可辨識車輛的主燈與方向燈,還可辨別綠色、黃色與紅色等燈色,而 SignNet 則具備辨識交通號誌的能力,可分辨速限、單行道、禁止通行與停車再開等號誌資訊。此外新版軟體的 DRIVE AV 還加入 DRIVE MapStream ,使開發人員可將車載感測器資訊上傳到自己的數位地圖,藉此讓自駕車能確認在道路上的位置與預判前方是否出現如施工等障礙。