嵌入式快訊:M1808 AI 核心板和基於Transformer的車道線檢測網絡

2020-12-22 電子發燒友

嵌入式快訊：M1808 AI 核心板和基於Transformer的車道線檢測網絡

RTThread物聯網操作 發表於 2020-12-21 11:06:11

導讀：本期為 AI 嵌入式簡報：

今日推送乾貨多多，為關注嵌入式AI的你量身定製~

1. 澎峰科技CEO張先軼詳解利用AI開發板實現面向無人機的嵌入式視覺應用開發

本文為澎峰科技CEO張先軼在智東西主辦的「無人機視覺創新論壇」的演講內容。張先軼老師的演講主題為《利用AI開發板實現面向無人機的嵌入式視覺應用開發》。

在本次演講中，張先軼老師首先介紹了AI開發板硬體選型，之後對嵌入式AI軟體性能和相關算法的優化展開詳細分析。

本文為此次演講的圖文整理。

演講的主題為《利用AI開發板實現面向無人機的嵌入式視覺應用開發》，內容主要分為以下3個部分：

1、AI開發板硬體選型

2、嵌入式AI軟體性能優化

3、嵌入式AI算法模型

2. TensorFlow為新舊Mac特供新版本，GPU可用於訓練，速度最高提升7倍

蘋果「一呼百應」的號召力在機器學習領域似乎也不例外。新版 Mac 推出還不到兩周，谷歌就把專為 Mac 優化的 TensorFlow 版本做好了，訓練速度最高提升到原來的 7 倍。
對於開發者、工程師、科研工作者來說，Mac 一直是非常受歡迎的平臺，也有人用 Mac 訓練神經網絡，但訓練速度一直是一個令人頭疼的問題。

上周，蘋果發布了搭載 Arm 架構 M1 晶片的三款新 Mac，於是就有人想問：用它們訓練神經網絡能快一點嗎？

今天，主流機器學習框架 TensorFlow 發文表示：我們專門做了一版為 Mac 用戶優化的 TensorFlow 2.4 框架，M1 版 Mac 和英特爾版 Mac 都能用。這一舉動有望大幅降低模型訓練和部署的門檻。

4. 420 FPS！LSTR：基於Transformer的車道線檢測網絡

論文：https://arxiv.org/abs/2011.04233

代碼即將開源！

https://github.com/liuruijin17/LSTR

性能優於PolyLaneNet等網絡，速度可高達420 FPS！

車道線檢測是將車道識別為近似曲線的過程，被廣泛用於自動駕駛汽車的車道線偏離警告和自適應巡航控制。流行的分兩步解決問題的pipeline：特徵提取和後處理。雖然有用，但效率低下，在學習全局上下文和通道的長而細的結構方面存在缺陷。

本文提出了一種端到端方法，該方法可以直接輸出車道形狀模型的參數，使用通過transformer構建的網絡來學習更豐富的結構和上下文。車道形狀模型是基於道路結構和攝像頭姿勢制定的，可為網絡輸出的參數提供物理解釋。transformer使用自我注意機制對非局部交互進行建模，以捕獲細長的結構和全局上下文。

該方法已在TuSimple基準測試中得到驗證，並以最輕巧的模型尺寸和最快的速度顯示了最新的準確性。

此外，我們的方法對具有挑戰性的自收集車道線檢測數據集顯示出出色的適應性，顯示了其在實際應用中的強大部署潛力。

5. YOLOv4官方改進版來了！55.8% AP！速度最高達1774 FPS，Scaled-YOLOv4正式開源！

論文：

https://arxiv.org/2011.08036

GitHub ：https://github.com/WongKinYiu/ScaledYOLOv4

本文是YOLOv4的原班人馬（包含CSPNet一作與YOLOv4一作AB大神）在YOLO系列的繼續擴展，從影響模型擴展的幾個不同因素出發，提出了兩種分別適合於低端GPU和高端GPU的YOLO。

該文提出一種「網路擴展(Network Scaling)」方法，它不僅針對深度、寬度、解析度進行調整，同時調整網絡結果，作者將這種方法稱之為Scaled-YOLOv4。

由此得到的YOLOv4-Large取得了SOTA結果：在MS-COCO數據集上取得了55.4%AP(73.3% AP50)，推理速度為15fps@Tesla V100；在添加TTA後，該模型達到了55.8%AP(73.2%AP50)。截止目前，在所有公開論文中，YOLOv-Large在COCO數據集上取得最佳指標。而由此得到的YOLOv4-tiny取得了22.0%AP(42.0%AP50)，推理速度為443fps@TRX 2080Ti；經由TensorRT加速以及FP16推理，batchsize=4時其推理速度可達1774fps。

該文的主要貢獻包含以下幾點：

設計了一種強有力的「網絡擴展」方法用於提升小模型的性能，可以同時平衡計算複雜度與內存佔用；

設計了一種簡單而有效的策略用於擴展大目標檢測器；

分析了模型擴展因子之間的相關性並基於最優劃分進行模型擴展；

通過實驗證實：FPN structure is inherently a once-for-all structure

基於前述分析設計了兩種高效模型：YOLOv4-tiny與YOLOv4-Large。

6. 人像摳圖已經滿足不了研究者了，這個研究專門給動物摳圖！

在這個圖像和視頻逐漸成為主流媒介的時代，大家早已對「摳圖」習以為常，說不定還看過幾部通過「摳圖」拍攝的電視劇呢。然而，相比於人像摳圖，長相各異、渾身毛茸茸的動物似乎難度更大。

那麼，是否有專用於動物的摳圖技術呢？IEEE 會士 Jizhizi Li、陶大程等人就開發了一個專門處理動物摳圖的端到端摳圖技術。

動物的外觀和毛皮特徵給現有的方法帶來了挑戰，這些方法通常要求額外的用戶輸入（如 trimap）。

為了解決這些問題，陶大程等人研究了語義和摳圖細節，將任務分解為兩個並行的子任務：高級語義分割和低級細節摳圖。具體而言，該研究提出了新型方法——Glance and Focus Matting network (GFM)，使用共享編碼器和兩個單獨的解碼器以協作的方式學習兩項子任務，完成端到端動物圖像摳圖。

7. 英特爾發布首款用於5G、人工智慧、雲端與邊緣的結構化ASIC

2020年11月18日，在英特爾FPGA技術大會上，英特爾發布了全新可定製解決方案英特爾 eASIC N5X，幫助加速5G、人工智慧、雲端與邊緣工作負載的應用性能。該可定製解決方案搭載了英特爾 FPGA兼容的硬體處理器系統，是首個結構化eASIC產品系列。英特爾 eASIC N5X通過FPGA中的嵌入式硬體處理器幫助客戶將定製邏輯與設計遷移到結構化ASIC中，帶來了更低的單位成本，更快的性能和更低的功耗等好處。

英特爾 eASIC N5X器件作為具有創新性的新產品，與FPGA相比最高可降低50%的核心能耗和成本，與ASIC相比則提升了面市速度，降低了非重複性工程成本。用戶可以創建功耗優化、高性能、高度差異化的解決方案。

8. M1808 AI 核心板搭載5G模塊，助力5G布局工業領域

關於5G 的討論，雖然目前更多的是聚焦於智慧型手機，但事實上，在5G的大應用時代，智慧型手機只是其中很小的一部分，更多的應用會聚焦於工業網際網路、物聯網、車聯網等，並悄無聲息地滲透到人們的生活當中。

在2020年初，ZLG致遠電子首款人工智慧AI核心板M1808正式發布。該款核心板採用高端雙核架構，集成神經網絡處理器NPU，內置專業AI算法，為用戶提供「硬體+軟體+算法」系統化解決方案。M1808還有豐富的外設接口，便於應用擴展。視頻支持MIPI/CIF/BT1120輸入，支持MIPI/RGB顯示輸出；具有PWM/I2C/SPI/UART等一系列傳感器輸入輸出接口；具有USB3.0/USB2.0/PCIE等高速設備接口，因此ZLG M1808 AI核心板同時支持有方的N510M 5G模塊驅動。

M1808AI核心板搭配5G上網模塊Neoway N510M，產品具有出色的射頻性能，支持 5G、4G、3G，頻段覆蓋廣，支持SA與NSA組網方式，支持Sub-6GHz，覆蓋全面。集成各種網絡協議並提供行業標準接口，最大限度滿足eMBB場景下的超高速數據傳輸應用，是電力物聯網、安防監控、智慧能源、工業控制、智慧交通等領域的較好的選擇。

RT-Thread

讓物聯網終端的開發變得簡單、快速，晶片的價值得到最大化發揮。Apache2.0協議，可免費在商業產品中使用，不需要公布源碼，無潛在商業風險。

原文標題：【嵌入式AI周報】 M1808 AI 核心板搭載5G模、嵌入式視覺應用開發詳解！

文章出處：【微信公眾號：RTThread物聯網作業系統】歡迎添加關注！文章轉載請註明出處。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • Facebook AI的DETR:一種基於Transformer的目標檢測方法
    前不久，Facebook開源了一個這樣的框架，DETR(DEtection TRansformer)在本文中，我們將快速了解目標檢測的概念，然後研究DETR及其帶來的好處。目標檢測在計算機視覺中，目標檢測是一項將對象與背景區分開，並預測圖像中存在的對象的位置和類別的任務。當前的深度學習方法試圖將其作為分類問題或回歸問題或綜合兩者的目標檢測任務來解決。
  • 基於TMS320DM642嵌入式圖像識別方案實現車流量檢測系統的設計
    與以上方法相比，基於視頻的車流量檢測方法具有許多優點：從視頻圖像中提取可靠信息，完成道路交通的監視工作，可提高道路、車輛的自動化程度；交通監視控制系統中安裝的視頻攝像機比安裝其它傳感器更經濟、且破壞性低；實際道路交通系統中已經安裝了許多攝像機用於道路交通監視和控制，可一舉兩得。 現有的傳統視頻檢測方法基於工控機，其算法成熟，且已形成相關產品。
  • 基於RK1808晶片 瑞芯微電子AI計算棒正式開售
    中關村在線消息：專注於移動網際網路、數字多媒體晶片設計的國內領先SOC解決方案供應商瑞芯微電子（Rockchip）宣布，從即日起基於其RK1808晶片的人工智慧計算棒將在瑞芯微Toybrick官方企業店正式開售，國內售價599元。該計算棒是瑞芯微專門為AI人工智慧平臺及產品開發者而設計，具備強大的人工智慧編程及深度學習能力的AI加速器。
  • 嵌入式AI快訊:移植ncnn到RISC-V TF Object Detection支持TF2
    打開APP 嵌入式AI快訊：移植ncnn到RISC-V TF Object Detection支持TF2 GitHub RT-Thread 發表於 2020-12-23 11:25:12
  • 華為提出適用於彎道的車道線檢測方法 CurveLane-NAS
    本文來源：智車科技 作者：白墨/ 導讀 /車道線檢測，作為自動駕駛最基礎也最重要的任務之一。從傳統車道線檢測方法到使用深度學習的檢測方法，近年也一直是從業人員的熱門研究對象。華為諾亞方舟實驗室與中山大學近日發表了一個新方法CurveLane-NAS，旨在解決彎道車道線檢測問題。
  • 視覺+Transformer最新論文出爐,華為聯合北大、雪梨大學發表
    已有研究表明，Transformer 在計算機視覺領域不僅適用於高級任務如圖像分類、目標檢測、車道線檢測等，在低級任務如圖像增強中也取得了突破性進展，毫無疑問，Transformer 是目前計算機視覺領域最值得關注的方向之一。一時間，在各種視覺任務 + Transformer 的論文正如雨後春筍般湧出。
  • ZLG安全帽佩戴檢測方案
    本文引用地址：http://www.eepw.com.cn/article/202003/411152.htm本文將以 ZLG M1808 平臺為例，對安全帽佩戴檢測技術及應用進行介紹，闡述安全帽佩戴檢測的算法基本原理和應用方向，介紹M1808開發平臺應用搭建，並展示ZLG研發的安全帽佩戴檢測應用demo。
  • 提供基於transformer的pipeline、準確率達SOTA
    spcCy 3.0 更新文檔地址：https://github.com/explosion/spaCy/releases/tag/v3.0.0具有新的基於 transformer 的 pipeline，這使得 spaCy 的準確率達到了當前的 SOTA 水平；提供了新的 workflow 系統，幫助用戶將原型變為產品；pipeline 配置更加簡單，訓練
  • 基於嵌入式的自動售貨機設計與實現
    基於嵌入式的自動售貨機設計與實現 秩名 發表於 2012-07-18 14:18:32 　　我們知道，智能設備的根本在於嵌入式系統的開發應用(嵌入式系統開發流程)，
  • opencv+python智能車道檢測,助力無人駕駛
    近年來，基於人工智慧的車道檢測算法得到了廣泛的研究。與傳統的基於特徵的方法相比，許多方法表現出了優越的性能。然而，當使用具有挑戰性的圖像時，其準確率通常仍在低80%或高90%之間，甚至更低。　　準確可靠的車道檢測是車道保持（LK）、變道自動化（LCA）和車道偏離警告（LDW）功能的關鍵特性。
  • 深2.5至4倍,參數和計算量卻更少,DeLighT Transformer是怎麼做到的?
    論文連結：https://arxiv.org/abs/2008.00623代碼連結：https://github.com/sacmehta/delight論文簡介在這篇文章中，作者提出了一個網絡較深但輕量級的 Transformer——DeLighT，與之前基於 transformer 的模型相比，它的參數更少
  • NLP攜手Transformer跨界計算機視覺,DETR:目標檢測新範式
    其實，它還可以用來進行目標檢測。Facebook AI 的研究者首先推出了 Transformer 視覺版本——Detection Transformer（DETR），填補了 Transformer 用於目標檢測的空白，對標超越 Faster RCNN。基於 DETR，研究者們提出了多種優化版本進行目標檢測任務，效果還不錯。
  • Transformer在CV領域有可能替代CNN嗎?
    目前已經有基於Transformer在三大圖像問題上的應用：分類（ViT），檢測（DETR）和分割（SETR），並且都取得了不錯的效果。那麼未來，Transformer有可能替換CNN嗎，Transformer會不會如同在NLP領域的應用一樣革新CV領域？後面的研究思路可能會有哪些？
  • 油管添加智能回復功能,全球首個基於字節的評論AI
    開發人員現在可以使用SmartReply在Google Play控制臺上回複評論，並且可以用MLKit（機器學習工具包）和TFLite（針對移動和嵌入式設備的軟體庫）中提供的API來開發自己的回覆工具。每次應用SmartReply，需要針對具體的任務要求自定義配置，因此在建模和服務方面都面臨著獨特的挑戰。
  • 使用TI-AM1808構建嵌入式導航系統
    本文探討了利用AM1808構建嵌入式導航系統的過程。並且探討了嵌入式文件系統的組成。在硬體和軟體方面對嵌入式系統構建過程中遇到的問題提出了解決方法。本文引用地址：http://www.eepw.com.cn/article/135912.htm　　硬體設計　　在硬體設計上，得益於AM808先進的架構，AM1808的硬體設計具有很高的彈性。但是考慮到嵌入式系統成本和體積的要求，簡潔有力的設計更應該在整個設計流程中被體現出來。
  • 瑞芯微技術大牛邱建斌37頁PPT詳解Toybrick AI開發平臺及其在嵌入...
    我們有兩款基於RK 1808晶片做的產品：神經網絡計算棒以及Mini-PCIe的子卡,他們的主要工作是做 AI的推理。PCIe的子卡主要是U3的結果通訊，會在後面詳細的介紹。現在AI很多都是基於機器視覺相關的，圍繞在攝像頭這塊。所以我們有一些開發套件，配合視頻解碼晶片，後面的分析模塊是1808。其實它是通用於38mm*38mm安防標準尺寸，這樣一些安防的客戶可以直接把板子塞到他原先的模具裡面，可以快速的升級原先的產品形態，並附著一個AI的功能。
  • A9核心板在高速公路RSU控制器上的應用
    為深化收費公路制度改革，提高綜合交通運輸網絡效率，降低物流成本，全國高速公路省界收費站將在兩年內基本取消，力爭2019年底前基本取消全國高速公路省界收費站，提升人民群眾的獲得感、幸福感、安全感。RSU是由高增益定向束控讀寫天線和射頻控制器組成。高增益定向束控讀寫天線是一個微波收發模塊，負責信號和數據的發送／接收、調製／解調、編碼／解碼、加密／解密；射頻控制器是控制發射和接收數據以及處理向上位機收發信息的模塊。
  • AI技術在日本嵌入式技術展上大放異彩
    LeapMind在協助客戶時總是先詢問他們想要解決哪些具體問題，並測試深度學習是否適用於解決此類問題，接著幫助他們打造用於深度學習的大數據，最後在邊緣的嵌入式設備上設計AI實務。sRAEETC-電子工程專輯LeapMind至今已將深度學習應用於異常檢測——如定位裂縫、特定位置或生鏽區域——以及對象檢測，包括檢測汽車、交通訊號或交通標誌等。
  • A Survey on Visual Transformer及引文理解
    總之，它可以被視為一種不同於CNN和遞歸神經網絡RNN的新型特徵選擇器。與只關注局部特徵的CNN相比，transformer能夠捕捉到長距離特徵，這意味著transformer可以很容易地獲得全局信息。與RNN的隱態計算順序相比較，Transformer的自注意層和全連接層的輸出可並行計算，且速度快。因此，進一步研究Transformer在自然語言處理和計算機視覺領域的應用具有重要意義。
  • 視覺Transformer最新綜述
    這四類分別為 classification, high-level vision, low-level vision 和video processing.Classification 顧名思義就是分類任務，High-level vision 作者定義為：「對圖像中所見內容的解釋和使用」，包括目標檢測、分割等。