盤一盤NVIDIA Jetson家族的前浪和後浪!
NVIDIA Jetson系列截至目前已經推出了5代產品了,Xavier經過幾年的發展已經在AI市場佔據了絕對領導地位,而最近的NVIDIA GTC廚房發布會上,黃教主又推出了新一代GPU架構安培,高達2000Tops算力的GPU A100成為新的帶頭大哥,在Xavier還未退居二線之前,盤一下NVIDIA推出的Jetson平臺產品,算是給自己一直以來所追的「星」做個Mark。畢竟也是曾經加班加點的研究,這也算是另一種追星發燒友不是。
一、什麼是Jetson
NVIDIA定義Jetson為適用於新一代自主機器的嵌入式系統,號稱是適用於一切自主機器(Autonomous Machines)的AI平臺。
根據NVIDIA官網介紹,Jetson系統所提供的性能和能效可提高自主機器軟體的運行速度,而且功耗更低。Jetson每個系統都是一個完備的模塊化系統 (SOM),具備 CPU、GPU、PMIC、DRAM 和快閃記憶體,並且具備可擴展性。對於開發者和用戶來說,只需選擇適合應用場景功能需求的 SOM,即能夠以此為基礎構建系統。這就是NVIDIA提供的AI計算平臺解決方案,對於Jetson系列而言,從TX2開始,這些解決方案全部使用相同的軟體堆棧架構和 SDK,可在整個產品組合中實現一個代碼基和無縫部署。
Jetson 模塊可以支持需要各種性能級別和價格的大量應用需求,包括開發者、配套商,以及工程服務企業。比如我們熟悉的基於Xavier開發的域控制器產品用於無人駕駛系統。
Jetson平臺從探索性的TK1,到AI硬體龍頭Xavier,以及推出不久的小而美的Nano套件,一共推出了5款產品。
目前TK1已經是古董了,TX1也已停產,只有在某些淘寶店可以看到了,TX2還在發揮餘熱,但是算力不足已經讓市場對它逐漸失去興趣,Xavier正處於當打之年,扛把子的存在,已經實現了部分量產,Nano這個小巧的開發套件個人感覺不太適合做產品用,而是更適合高校教學和學生實踐。
下面來逐一看看Jetson家族這些寶貝。
二、Jetson家族產品橫向對比
Jetson系列產品支持需要各種性能級別和價格的大量應用場合,例如 AI 網絡視頻錄像機 (NVR)、高精度製造領域中的自動光學檢查 (AOI) 以及自主移動機器人 (AMR)等。因此,可在邊緣設備的嵌入式系統中高效引入現代 AI、深度學習和推理。目前主流的Nano、TX2、Xavier產品性能對比如下。
三、Jetson系列產品特性介紹
3.1 最新產品Nano
Jetson Nano是一款低成本的 AI 平臺,具備較高的性能和能效,可以運行計算量不大的 AI 工作負載和多個神經網絡,以及同時處理來自多個高清傳感器的數據。這使其成為向嵌入式產品中添加高級 AI 的最理想選擇。官方售價899RMB,相當超值。
Jetson Nano產就緒型模組系統 (SOM)
Jetson Nano 模組僅有 70 x 45 毫米,體積非常小巧。可以為多個行業(從智慧城市到機器人)的邊緣設備部署 AI 時提供強大支持。
NVIDIA Jetson Nano推出開發者套件,作為一種功能強大的小型計算機,可以並行運行多個神經網絡,從而實現圖像分類、物體檢測、分割和語音處理等應用。且運行功率僅為 5 瓦。
NVIDIA JETSON NANO 開發者套件
3.2當代扛把子Xavier
NVIDIA官網這樣介紹:Jetson AGX Xavier 為邊緣設備的計算密度、能效和 AI 推理能力樹立了新的標杆。作為現在AI計算的扛把子,其尺寸僅為 100 x 87 mm,只是工作站的 1/10,但性能媲美大型工作站。Xavier具有高達 32 TOPS的峰值計算能力和 750 Gbps 的高速 I/O 性能。全負載功耗30W,性能和能效分別比前代產品 NVIDIA Jetson TX2 高出 20 倍。
Jetson AGX Xavier
Jetson AGX Xavier作為全球首款專為自主機器打造的計算機,具有六個計算機主板,用於處理傳感器數據和運行自主機器軟體,其超高性能,足以完成視覺測距、傳感器融合、定位與地圖繪製、障礙物探測,以及路線規划算法等計算任務。適合配送和物流機器人、工廠系統和大型工業 UAV 等自主機器。
基於Jetson AGX Xavier 可以打造出 AI 助力的自主機器,在邊緣提供更高級別的計算密度、能效和 AI 推理能力。其運行功率低至 10W,得益於 NVIDIA豐富的 AI 工具和生態環境,開發者可以快速訓練和部署神經網絡。
Jetson AGX Xavier 8GB 是一款價格實惠的低功率 Jetson AGX Xavier,可與現有的 Jetson AGX Xavier 實現完整的軟硬體兼容性。其整個模塊最高消耗 20W 功率,同時提供高達 20 TOPS 的 AI 性能。該產品自 2019 年 8 月起發售。
用戶可以使用價格實惠的低功率 Jetson AGX Xavier 8GB 模塊,以 10W 或 20W 功率為其應用程式配置操作模式,或使用 Jetson AGX Xavier 模塊並以 10W、15W 或 30W 功率進行此項配置。
NVIDIA Jetson AGX Xavier 開發者套件,它包含了助您輕鬆上手和快速開發產品的各種軟硬體。
NVIDIA Jetson AGX Xavier 開發者套件
Jetson Xavier NX將 NVIDIA Xavier SoC 的強大性能封裝到很小的模塊中,外形尺寸只有 70 x 45 mm與Nano相當,但是具備豐富的IO(從高速 CSI 和 PCIe 到低速 I2C 和 GPIO)。Xavier NX可為邊緣提供性能高達 21 Tops 的加速 AI 計算。它能並行運行多個現代神經網絡,處理來自多個高解析度傳感器的數據,進而滿足完整 AI 系統的需求。Jetson Xavier NX 是NVIDIA所謂的生產就緒產品,金手指插卡接口,方便產品設計擴展。
Jetson Xavier NX
Jetson Xavier NX具有雲原生支持,使開發人員可以在嵌入式和邊緣設備上構建和部署高質量的軟體功能。NVIDIA NGC和NVIDIA Transfer Learning Toolkit提供的經過預先訓練的AI模型提供了一條通往訓練過並優化過的AI網絡的更快的路徑,而Jetson設備的容器化部署則可以實現靈活,無縫的更新。
Jetson Xavier NX的性能比其前身Jetson TX2高出10倍以上,適用於無人機、可攜式醫療設備、小型商業機器人、智能攝像頭、高解析度傳感器、自動光學檢測、智能工廠和其他 IoT 嵌入式系統等高性能 AI 系統。
NVIDIA Jetson Xavier NX 開發者套件包括一個Jetson Xavier NX模組,開發者可以基於NVIDIA提供的軟體架構開發更多AI應用程式,而功耗不超過10 W。
NVIDIA Jetson Xavier NX 開發者套件
3.3 三代產品JetsonTX2
Jetson TX2提供高性能邊緣人工智慧計算平臺,適用於邊緣設備 AI 應用,有三個版本:Jetson TX2 (8GB)、Jetson TX2i 和新推出且成本較低的 Jetson TX2 4GB。
NVIDIA Jetson TX2 為嵌入式 AI 計算設備提供卓越的速度和能效。採用256 核 NVIDIA Pascal GPU架構、高達 8 GB 內存、59.7 GB/s 內存帶寬,提供豐富的標準硬體接口,完美適配各類產品和外形規格,計算更快,推理能力更強,實現真正意義上的 AI 計算終端。Jetson TX2模塊尺寸50 毫米 x 87 毫米,功耗僅為 7.5W。
NVIDIA Jetson TX2
JETSON TX2 4GB
Jetson TX2 4GB以 Jetson TX1 兩倍的計算性能和能效來運行神經網絡——而且價格不變。得益於 NVIDIA 豐富的 AI 工具和工作流程,讓開發人員快速訓練和部署神經網絡。
JETSON TX2
Jetson TX2 採用 NVIDIA Pascal 構架,外形小巧、節能高效,非常適合機器人、無人機、智能攝像機和便攜醫療設備等智能邊緣設備。支持 Jetson TX1 模塊的所有功能,同時可以實現更大型、更複雜的深度神經網絡。
JETSON TX2i
Jetson TX2i 模塊擁有堅固的設計、小巧的外形和更低的能耗,堪為工業機器人、機器視覺相機和可攜式醫療設備等高性能邊緣計算設備的理想選擇。
NVIDIA JETSON TX2 開發者套件
3.4 二代產品TX1
Jetson TX1是世界上第一個基於模塊的超級計算機,能夠提供最新視覺計算應用所需的性能和能效。 它基於具有256個CUDA內核的革命性NVIDIA Maxwell 架構構建,可提供超過1 TeraFLOP的性能。 64位CPU,4K視頻編碼和解碼功能以及1400 MPix / s的攝像頭接口使其成為嵌入式深度學習,計算機視覺,圖形和GPU計算的最佳系統。
Jetson TX1開發者套件
3.5 初代探索產品TK1
TK1是NVIDIA在邊緣計算領域的首次嘗試,基於Tegra K1開發的一塊低成本開發板,針對嵌入式系統應用釋放 GPU 的潛能。它以革命性的 NVIDIA Tegra K1 SoC 為基礎構建,並且使用相同的 NVIDIA Kepler 計算核心(該核心專為全世界的超級計算機而設計)。TK1提供了一款全功能 NVIDIA CUDA平臺,其上面預裝了Linux4Tegra OS(Ubuntu 14.04,配有預配置的驅動程序)。根據官網的介紹,NVIDIA可以提供整個BSP和軟體包,包括CUDA、OpenGL4.4和由Tegra加速的OpenCV。可用於快速開發和部署面向計算機視覺、機器人技術、醫療和更多領域的計算密集型系統。
Jetson TK1板載一塊Tegra K1 32-bit(Logan)晶片,開發板上還有一個HDMI輸出,一個乙太網口,一個USB 3.0,一個micro USB口,SATA,mini PCIe,SD卡插槽,調試口有串口DB9和JTAG,以及眾多的IO接口引出。可以說是麻雀雖小,五臟俱全。
TK1開發者套件
四、NVIDIA統一的軟體堆棧
Jetson Nano、Xavier、TX2等SOM解決方案均由NVIDIA同一軟體堆棧Jetpack SDK提供支持,其優勢在於完成一次開發,即可在前三者中任意平臺進行部署。
Jetpack SDK 提供包括板級支持包 (BSP)、Linux 作業系統、NVIDIA CUDA(R)等,並且兼容第三方平臺。
JetPack 可提供用於深度學習、計算機視覺、加速計算和多媒體的庫,而且支持各類傳感器的驅動程序。此外,NVIDIA 還針對深度估算、路線規劃和物體檢測等重要的自主機器任務開發了 GPU 加速 IP 。
根據開發Xavier以及Nano經驗,NVIDIA為 Jetpack 提供了大量開發者工具,這些開發者工具非常實用,可以大大加快開發過程,並且提供了有關應用與系統功率和對應性能的詳細信息,有助於開發者快速優化和調整代碼。