M1808 AI核心板AI算力性能有多強

2020-12-15 電子工程世界網

AIoT概述

 

AIoT(Artificial Intelligence & Internet of Things)中文譯為人工智慧物聯網，是將人工智慧(AI)與物聯網(IoT)兩者有機結合的一種技術。AI在這個系統中充當了大腦的角色，賦予了物聯網更多的可能性，將萬物互聯提升到萬物智聯，如目前的智能醫護助手、人體測溫攝像頭、智能配送機器人都是在AI的加持下得以實現。

 

據2019年的市場調查報告顯示，2020年中國AIoT硬體市場及相關產業的規模將突破萬億元。目前AIoT的主流方案以邊緣計算和雲計算結合為主，相比之下，邊緣計算有部署靈活、穩定性強、網絡依賴度低、安全性強更有利於保護隱私的特點。作為布局AIoT的重要產品，ZLG發布了M1808 AI核心板。本文將針對M1808核心板的AI性能參數做具體講解。

 

M1808平臺簡介

 

M1808平臺是由M1808-T核心板和M1808-EV-Board評估底板組成，是基於Rockchip 的RK1808 AIoT處理器開發。RK1808處理器晶片採用CPU（Central Processing Unit，中文譯為中央處理單元）+NPU（Network Process Unit，中文譯為神經網絡處理單元）雙架構，其中CPU為1.6GHz雙核Cortex-A35架構，NPU的峰值算力高達3.0TOPs，支持INT8/INT16/FP16混合運算，最大程度兼顧性能、功耗、運算精度，支持TensorFlow/MXNet/PyTorch/Caffe等一系列框架的網絡模型轉換，兼容性強。VPU視頻處理單元支持1080P視頻編解碼，支持麥克風陣列，並具有硬體VAD功能，支持低功耗偵聽遠場喚醒，還支持攝像頭視頻信號輸入，並具有內置ISP。M1808平臺具有高性能、低功耗、易編程、集成NPU等特點。

 

AIoT硬體平臺AI性能對比

 

算力和功耗是衡量硬體平臺AI性能的重要參數。為了充分驗證M1808的高性能、低功耗特點，表格1提供了M1808與其他產品的AI性能參數對比。通過對比可知，M1808 AI核心板能夠最大程度的兼顧算力與功耗。這也使其在AIoT硬體平臺上具有領先地位。

 

 

表格 1

 

常見AI功能的算力花銷

 

考慮到讀者對3.0 TOPs的算力很難有一個清晰的概念，在表格2中我們列出了常見AI功能所需要的算力花銷：

 

 

表格 2

 

由表格可知，除了自動駕駛這種多模型融合、實際場景十分複雜多變的情形，大部分單一功能的實現所需的算力要求在1TOPS這個數量級。M1808作為目前具有代表性的嵌入式AI平臺，具備了3.0 TOPs的基礎算力，基本可以滿足大部分場景的使用，如人臉門禁、掃臉支付、智能餐桌等。此外，如果對照片處理的實時性要求不高，比如山火識別，面對這種對網絡模型的查全率要求很高的場景，就可以使用上結構更深的模型，來達到精度更高的效果。

 

神經網絡推理速度

 

為了更直觀地認識M1808的AI計算能力，在圖表1中，我們分別在三種相同的神經網絡模型下，對比M1808與常見手機晶片的網絡神經網絡運行時間。運行時間的長短可以反應出硬體平臺AI計算能力。可以看到，對比當今主流的手機晶片，M1808的AI算力也毫不遜色，足以滿足大部分AI功能需求。

 

 

圖表 1

 

軟體層面

 

除了提供強大的AI算力，M1808也提供了對應的AI開發套件來支持研發人員的開發工作。目前M1808的套件支持主流的tensorflow、tensroflow lite、caffe、darknet、onnx、pytorch等框架訓練的模型，可以對其進行模型轉換以便將模型部署到開發板上，我們還提供了自動量化及模型運行效率的評估功能，減少模型適配的工作量。

 

同時，M1808也提供了一些常用的AI模型可供開發人員調用，目前支持以下功能：人臉識別，司機疲勞駕駛檢測系統，人臉關鍵點定位，人臉檢測，物體檢測，物體分類，紐扣方向的功能。目前的人臉識別精度在lfw上達到了99.7%，一萬人臉庫的情景下達到每秒10幀左右，支持年齡跨度、人臉部分遮擋和摘戴眼鏡等戶外及室內場景，更多的功能正在開發測試完善中，敬請期待。

 

以上即為M1808的算法算力性能介紹，大家是會能夠真切的感受到這款AI核心板的性能呢？若是想了解我司基於M1808提供的算法可查閱往期文章《立功科技嵌入式平臺「軟」實力——人臉識別算法篇》，若是再想更近距離的感受M1808性能的強大，歡迎諮詢小致，可有機會實際感受M1808 AI核心板的強勁性能。

 

M1808 AI核心板硬體性能


近年來，隨著人工智慧技術的不斷發展，相應的AI算法與產品方案也層出不窮。但是技術門檻高，產品穩定性參差不齊成為了制約行業發展的主要瓶頸。M1808 AI核心板是ZLG布局AI及計算機視覺領域的重要產品，旨在為用戶提供「嵌入式」+「AI」解決方案平臺，以AI算法賦能傳統嵌入式硬體，除了提供穩定可靠的硬體平臺之外，同時免費提供基於各種應用數據集訓練的AI算法，極大降低了「嵌入式」和「AI」的開發門檻。

 

在當前熱門的人臉識別領域，ZlG將人臉識別算法免費植入M1808 AI核心板中，為用戶提供「硬體+軟體+算法」系統化解決方案。這一方案既能夠滿足客戶快速開發的需求，又能最大程度保證驗證結果的精準度，可廣泛應用於火車站、安檢卡口、校園、小區、寫字樓等出入管理場景。

 

本文將從主控平臺，配套硬體以及檢測Demo這三個方面對ZLG人臉識別解決方案做具體介紹。

 

主控平臺

 

人臉識別的應用領域廣泛，但解決方案的框架大體類似。ZLG緊跟行業發展，歸納出如下圖所示人臉識別方案的框圖。

 

 

 

由框圖可知，主控平臺選擇ZLG最新推出的M1808 AI核心板。作為一款面向人工智慧開發平臺的產品，M1808在視覺處理方面有著高運算速率、高運算精度以及低功耗的高性能表現。

 

 

圖1.2 M1808核心板產品

 

如上圖所示，M1808 AI核心板板載1.6GHz雙核64位Cortex-A35架構的處理器RK1808，集成NPU峰值算力可達3.0TOPs，支持INT8/INT16/FP16混合運算，最大程度兼顧性能、功耗、運算精度，並支持TensorFlow/MXNet/PyTorch/Caffe等一系列框架的網絡模型轉換，兼容性強。其VPU視頻處理單元支持全格式的1080P視頻編解碼，支持攝像頭視頻信號輸入，並具有內置ISP。如圖1.3所示為RK1808晶片功能方框圖。

 

 

圖1.3 處理器RK1808功能方框圖

 

核心板整體功能特點一覽：

 

MPU採用高性能64位的Cortex™-A35處理器RK1808，工作頻率可達1.6GHz；

 

集成 32KByte 一級指令緩存；集成 32KByte 一級數據緩存；

 

集成NPU（神經網絡處理單元）協處理器；

 

支持最大1920 Int8 MAC operations per cycle；

 

支持最大64 FP16 MAC operations per cycle；

 

支持最大192 Int16 MAC operations per cycle；

 

512Kbyte內部緩衝空間；

 

支持支持全格式的H.264 1080p@60fps解碼和H.264 1080p@30fps編碼；

 

集成高品質的JPEG編/解碼器；

 

內存：1GByte DDR4 SDRAM；

 

存儲：4GByte eMMC；

 

Linux作業系統。

 

如圖1.4所示為M1808_EV_Board評估板產品圖片。

 

 

圖1.4  M1808_EV_Board評估板產品

 

配套硬體

 

圖像數據採集方面，M1808_EV_Board評估板為開發用戶提供了1路CSI攝像頭接口和1路可擴展USB接口。人臉檢測識別方案可以選用USB接口的雙目攝像頭，以支持具有活體檢測功能的人臉識別算法庫。雙目攝像頭如圖1.5所示。

 

 

圖1.5  雙目攝像頭

 

圖像顯示方面，M1808評估板為用戶提供MIPI-DSI接口和RGB接口兩種液晶顯示接口。本文介紹的人臉識別Demo運行顯示是採用一款由ZLG生產的10.1寸LVDS接口的液晶顯示屏LCD-1280800W101TC，如圖1.6所示。攝像頭採集的人臉將會以實時方框形式在液晶屏上標記顯示。

 

 

圖1.6  LCD-1280800W101TC 10.1寸LVDS液晶顯示屏套件

 

人臉識別檢測Demo

 

開發環境搭建

 

將M1808平臺的交叉編譯工具m1808-sdk-1.0-ga.tar.gz拷貝至開發主機Ubuntu下，並執行如下命令解壓安裝：

 

$ sudo mkdir -p /opt/zlg

 

$ sudo tar -xf m1808-sdk-1.0-ga.tar.gz –C /opt/zlg

 

在用戶配置文件~/.bashrc中添加如下語句，保存後重新打開終端就可以直接使用該平臺工具鏈，完成工具鏈環境搭建：

 

$ export PATH=/opt/zlg/m1808-sdk-1.0-ga/host/bin:$PATH

 

Demo程序

 

Demo採用Qt圖形界面開發框架。在工程文件中添加OpenCV庫、Sqlite3庫和由ZLG算法團隊研發的人臉識別算法庫等相關庫，之後內部程序通過調用相關庫提供的各種接口，包括數據存儲、模型構建初始化、人臉檢測、人臉比對等API進行相關人臉檢測識別功能的實現。

 

例如有關人臉檢測功能實現，先定義rockx_handle_t類型的句柄，通過操作該句柄調用如下API完成指定功能模塊的初始化：

 

rockx_ret_t rockx_create(rockx_handle_t* handle,rockx_module_t m,void* config,size_t config_size);

 

再調用人臉檢測API實現人臉檢測功能：

 

rockx_ret_t rockx_face_detect(rockx_handle_t handle,rockx_image_t* in_img,rockx_object_array_t* face_array,rockx_async_callback callback);

 

Demo整體流程框圖如下圖1.7所示：

 

 

圖1.7  Demo程序流程圖

 

Demo效果

 

實際檢測的人臉以綠色選框標記出來，Demo運行顯示效果展示如圖1.8所示：

 

 

圖1.8  Demo展示效果

 

M1808 AI核心板在不同維度的卓越硬體功能，使其具備了成為

[

1

] [

2

]

關鍵字：M1808 編輯：muyan 引用地址：http://news.eeworld.com.cn/qrs/ic489671.html

推薦閱讀

M1808讓5G賦能工業物聯網

; 2.         5G-人工智慧下的嵌入式機會 隨著科技的進步, 某些單一重複的工作將逐漸被人工智慧取而代之,比如售票員。現在來看各大晶片廠商開始向人工智慧、邊緣計算發力,5G這個能讓數據飛起來的快車道,能夠有效促進端點信息採集設備的研發。可以預見的是,5G 時代,嵌入式AI類產品也會得到長足發展，最終實現5G+AI+嵌入式的系統化整合。   3.         M1808-讓5G

發表於 2020-11-04

相關焦點

  • 嵌入式快訊:M1808 AI 核心板和基於Transformer的車道線檢測網絡
    張先軼老師的演講主題為《利用AI開發板實現面向無人機的嵌入式視覺應用開發》。 在本次演講中，張先軼老師首先介紹了AI開發板硬體選型，之後對嵌入式AI軟體性能和相關算法的優化展開詳細分析。 本文為此次演講的圖文整理。
  • 板材類、第九章亞克力板(生產,性能、價格、使用、注意事項)
    這種板材的特點是小批量加工，在顏色體系和表面紋理效果方面有無法比擬的靈活性，且產品規格齊全，適用於各種特殊用途。亞克力擠出板：與澆鑄板相比，擠出板分子量較低，機械性能稍弱。然而，這一特點有利於折彎和熱成型加工，在處理尺寸較大的板材時，有利於快速真空吸塑成型。同時，擠出板的厚度公差比澆鑄板小。
  • 瑞芯微CES2020多場景AI技術,解鎖未來智慧生活
    1、AI視覺賦能支付、醫美、工業、新零售等場景在瑞芯微智能視覺展區，基於RK3399+RK1808的級聯邊緣計算方案，可滿足行業數位化在聯接、實時、智能、數據優化、隱私保護等方面的關鍵需求，建立可靠、安全、經濟、高效的服務平臺。
  • 南陽不鏽鋼鋼格板廠家產品核心配件要求
    南陽不鏽鋼鋼格板廠家產品核心配件要求   南陽不鏽鋼鋼格板廠家產品核心配件要求    連續熱鍍鋅工藝：鋼材→熱→冷卻至鍍鋅溫度→鍍鋅→冷卻冷鍍鋅就是電鍍鋅，只有10－50g/m其本身的耐腐蝕性比熱浸鍍鋅相差很多。
  • Apple M1 晶片來了,有多強?
    下面就跟著尾巴一起來看看，這枚 Apple 首次專為 Mac 打造的晶片，有多強。M1 晶片配備 8 核中央處理器，其中包括四個高性能核心和四個高能效核心。這些中央處理器核心可以讓攝影師可以飛速編輯高解析度照片，讓開發者能以近乎 3 倍於以往的速度構建 app。當四個核心同時運行，多線程處理性能表現將極大提升。四個高能效核心耗電量只有此前的十分之一。它們一起能提供和現有雙核 MacBook Air 相近的性能，同時耗電量顯著減少。
  • 玻璃鋼格柵板的標準尺寸規格有多少種
    玻璃鋼模塑格柵是一種性能非常豐富的產品，其具有耐酸鹼腐蝕、耐老化、輕質高強、阻燃絕緣等多種特點，可以很好的適應酸鹼腐蝕、易燃易爆等惡劣的環境條件，是傳統金屬材質格柵、木質塑料格柵的理想換代產品。模塑格柵的規格厚度多種多樣，不同型號格柵板之間的產品性能也有所區別，下面小編為來詳細的介紹下玻璃鋼格柵板的規格厚度具體有多少種可供選擇。
  • 麒麟9000的GPU性能有多強?足足比驍龍865強25%
    眾所周知，手機處理器主要有兩大核心架構，一個是CPU架構，另一個是GPU架構，如果拿汽車來比喻的話，那麼CPU可以說是汽車的發動機，而GPU則是汽車的變速箱，都非常重要。對於手機來說，CPU性能強弱，主要影響的是日常使用的流暢度，而GPU性能強弱，則是影響遊戲體驗的流暢度。
  • ai本身涉及到的東西有哪些?核心是什麼
    也有相應的專用語言支持ai，主要是一些工具語言（比如python的pypcgl，perl的scip）。部分ai庫內置了機器學習的算法，這些算法實際上大多都是在離散數學中的概率論中的數學模型。ai本身涉及到的東西很多，比如語言，算法，機器學習，深度學習，神經網絡等等。只要做出簡單實現的簡單程序，最初也可以編譯到c或者c++或者其他語言。通過簡單實現能帶來的進步，其實也就是vb的代碼量有可能增加那麼一點點。ai本身都是離散的，都是低級工具而已。主要是結構化的數據怎麼輸入到機器裡面，算法能做什麼。最主要的程式語言肯定是python/java等等。
  • 瑞芯微技術大牛邱建斌37頁PPT詳解Toybrick AI開發平臺及其在嵌入...
    首先,第一款是RK3399Pro晶片，如果有一些同學用過3399可能比較清楚，與3399相比，3399Pro只是多了一款NPU。首先介紹下NPU的規格，這款NPU有1920個INT8的MAC計算單元，192個的INT16的計算單元，64個FP16的計算單元，最高可以跑800MHz。其他的性能也比較強，像CPU有雙核的A72+A53，GPU為Mali的4核T860，同時支持5.1的eMMC。
  • 消息稱蘋果正設計性能更強ARM晶片:32核心/64核心
    蘋果今年發布的自研晶片M1獲得了大量好評，現在有消息稱，蘋果正在規劃性能更強的Apple Silicon。有消息人士透露稱，蘋果規劃中的高性能ARM晶片，核心數已經多達32個，同時他們也在開發64核心的版本，性能更加強大。
  • 外牆保溫裝飾一體板性能優勢
    外牆保溫裝飾一體板優勢：1. 保溫隔熱 降耗節能：DPX外牆保溫裝飾一體板，與傳統的外牆保溫裝飾建材相比，有極佳的耐寒隔熱性能。很大程度地降低了採暖和製冷能耗，節省了能源支出。2. 質輕且強度高 耐震防裂：外牆保溫裝飾一體板質量輕、強度高、耐衝擊性能好。不僅降低了建築本身的承載負荷，並且很大程度地降低了地震對建築物的影響。
  • 首款機械增壓街車到底有多強?川崎ZH2外媒性能測試
    川崎今年推出了H2系列的街車版本，也是目前全球唯一在售的機械增壓街車，也是川崎首款超級街車車型，性能配置遠超之前的旗艦街車Z1000。對於這臺搭載H2同款發動機的街車，很多喜歡街車的朋友表示無比期待，那麼它的性能到底如何？我們來看看外媒的測試結果。
  • 國外網友:F22到底有多強?除開隱身性能 仍然是最先進戰鬥機
    隱身性能不是一個玄學的東西，要麼有要麼無，它是一直存在的。攜帶外部武器會使RCS降級，但不一定完全消除隱身性。 就性能而言，即使將F-22的隱身性能排除在外，實際上也領先F-35外的其他任何一款戰鬥機。
  • 手機晶片性能比ns的強那麼多,為什麼沒有類似於其的大作遊戲?
    然而即使這樣現在的PC平臺或者手機平臺上都很難有能夠媲美主機性能的遊戲作品，PC上相對好一些只要願意花錢購買更貴的硬體來堆疊性能可以達到甚至超過主機端的遊戲畫質。然而手機端卻沒有一款能夠達到數年前NS平臺上水平的遊戲，明明現如今手機晶片的性能早已經遠遠超越了NS掌機，為什麼還是沒有類似於《塞爾達》或者是《巫師3》這樣的作品呢？今天就來和大家說說這背後的原因。
  • NPU時代來臨,瑞芯微AI晶片與Paddle Lite完成適配
    NPU時代來臨軟硬結合性能優化 飛槳產業級深度學習開源平臺以百度多年的深度學習技術研究和產業應用為基礎，集深度學習核心訓練和預測框架、基礎模型庫、端到端開發套件、工具組件和服務平臺於一體，2016年正式開源，是中國極具影響力的全面開源開放、技術領先、功能完備的產業級深度學習平臺。
  • 國產最強1.5T發動機有哪些?這些車的性能更強
    動力，對於很多年輕消費者而言十分重要，擁有強勁動力的車型一般會更熱銷，這其中原因很簡單，因為每個年輕朋友都有一個超跑夢，而超跑除了炫酷的設計，那就是誇張的性能，所以越來越多的品牌針對旗下車型的性能進行升級。比如思域，這是一款全球經典車型，但是真正巔峰還是得從換裝1.5T發動機開始，一直到今天它都是緊湊型轎車市場的銷量王，而這就是性能出色帶來的好處。
  • 板材類、第十章PVC板(生產,性能、價格、使用、注意事項)
    四、色彩豐富，個性新穎，持久穩定pvc硬板五、防火性能良好符合國家屋面材料防火要求，達到難燃級標準，有效延緩火勢蔓延。六、隔熱、保溫——保溫性能最高的屋面瓦2.2mm厚的凡美氟塑彩瓦的導熱係數僅為0.06kcal/m.h.
  • 銳龍5 3600綜合性能測試對比 多核心真香了
    作為電腦中的核心硬體，CPU的重要性不言而喻，它決定者主機性能的上下限，選購要尤為謹慎，但如果掌握相應知識的話，在性能到位的情況下還可以幫你省下不少錢。    一般購買處理器的用戶分為遊戲和辦公設計兩種，因為需求不同兩者購買時的側重點也就不同， 辦公設計處理器偏向於CPU核心，遊戲處理器偏向於CPU頻率，那麼是說這兩者之間就不能通用麼？
  • Core m為何劃入Core i?Intel:性能提升明顯
    簡而言之，就是兩者之間確實有著巨大的差別。Core i系處理器可在大多數筆記本上看到(其中就包括Surface Pro和MacBook Air)，消費者基本上無需擔心性能不夠用。相比之下，Core m大多在超輕薄無風扇平板/筆記本混合設備上出現，性能一般(溫度牆/掉頻是常事)，主打的是輕辦公和網絡瀏覽類應用。可惜的是，從今年的Kaby Lake架構處理器開始，英特爾把這桶水攪得更混了。
  • 京東AI研究院獲QuAC機器閱讀理解競賽冠軍,模型能力業界領先
    圖 1QuAC 挑戰賽官方成績榜單（https://quac.ai）目前，QuAC 是人機多輪對話交互領域複雜度最高的數據集，要求模型具備強大的上下文語義理解、指代推理、省略語義恢復和知識推理等能力，這也吸引了全球頂級科研院所和企業研究機構參加。