圖像處理應用中深度學習的重要性分析

圖像處理應用中深度學習的重要性分析

act視覺系統設計 發表於 2020-12-13 11:24:53

作者：Martin Cassel，Silicon Software

工業應用中FPGA 上的神經元網絡(CNN)

深度學習應用憑藉其在識別應用中超高的預測準確率，在圖像處理領域獲得了極大關注，這勢必將提升現有圖像處理系統的性能並開創新的應用領域。

利用卷積神經網絡(Convolutional Neural Network, CNN) 等深層神經網絡的解決方案，可以逐漸取代基於算法說明的傳統圖像處理工作。儘管圖像預處理、後期處理和信號處理仍採用現有方法進行，但在圖像分類應用中（缺陷、對象以及特徵分類），深度學習變得愈加重要。

利用深度學習處理某些任務更簡單，效果更好，甚至某些任務只能用深度學習方法來解決。深度學習正在逐漸威脅傳統圖像處理方法的地位——特別是處理任務中包含有複雜變量時（如反射面、光照不佳的環境、光照變化或移動的對象）。

深度學習具有平移不變性的優點，這部分使用傳統處理方式需要大量的投入。但如果需要對圖像中的對象或錯誤進行定位、標定、代碼讀取或後期處理，則傳統算法更具有優勢。

圖1：傳統圖像處理及深度學習的適用範圍對比。

傳統圖像處理	深度學習
典型應用	典型應用
尺寸測量 代碼讀取 有/無檢測  機器人引導  印刷檢測 汽車 電子	表面檢測（裂紋、劃痕） 食品、植物、木材檢測 塑料、注塑成型 織物檢測 醫療成像 農業
典型特徵	典型特徵
對目標有嚴格要求 方向固定 客戶提供容差範圍內的正式規格  可靠性100%	目標可變 方向可變 客戶提供模糊的規格，提供Good和Bad零件的樣本 可靠性99%

深度學習包括神經網絡的訓練和學習、網絡的實現和推斷運算、網絡的CNN 算法在圖像上的執行與分類結果的輸出。用於訓練的數據越多，分類的預測精度就會越高。由於數據量龐大，訓練神經網絡時通常選用GPU。

圖2：訓練數據越多，預測精度越高

速度與精度

基於各種不同技術的處理器，是否都能滿足工業圖像處理中的特殊需求呢？CNN應用必須執行快速（推斷）同時滿足極低的時延。在滿足處理速度的同時，還要滿足高帶寬、低發熱、實時性以及供貨周期長這些需求，僅僅使用傳統CPU 或GPU 是難以實現的，它們通常可以為非工業領域的圖像處理任務提供更合適的解決方案，在這些領域的識別任務儘管同樣複雜，但相對較低的數據吞吐性能即可滿足需求。各個平臺之間區別很大，僅從技術指標方面就能看出，它們無法應用於高要求的任務。儘管GPU 的推斷耗時比CPU 或特殊晶片短得多（如TPU -TensorFlow Processing Units、TensorFlow 處理單元以及Intel Movidius處理器），但是其數據吞吐量這項指標只能達到大約每秒50MB這樣一個較低的水平。

在通常的圖像處理應用中，只需要對少數幾個特性進行分類，因此選擇小型或中型網絡通常就足以應對，AlexNet、SqueezeNet 或MobileNet 都是這類網絡的典型代表。這幾種網絡類型在機器視覺領域，預測精度、網絡大小和計算速度以及帶寬這幾方面有著良好的平衡。這裡可以很明顯地看到，通過選擇合適的網絡，可以在犧牲小部分檢測精度的同時，獲得數據吞吐量方面的極大提高，同時也為優化資源和提高分類質量提供了可能性。

圖3：《對用於實際應用的深層神經網絡模式的分析》，Alfredo Canziani、Adam Paszke、Eugenio Culurciello (2017)

推斷應用中的FPGA 和SoC

在很多圖像處理任務的需求中，特別是機器視覺領域，FPGA可以作為獨立處理單元或與ARM 處理器一起構成SoC。FPGA 具有高度並行處理能力、穩定的圖像採集能力以及相對於CPU 和GPU更高的運算性能、圖像幀率和帶寬。基於FPGA的CNN應用可完成高帶寬的分類工作，這尤其適用於高速在線檢測。

FPGA支持直接在圖像採集卡或在嵌入式視覺設備上處理圖像數據——從採集到輸出以及外圍設備控制——且無任何CPU佔用，這個特點讓FPGA特別適用於高強度運算的應用，如CNN。因此未配備GPU 的小型PC 也能使用，從而可降低整體系統成本。在工業環境溫度下，FPGA的能效比GPU高十倍，是嵌入式設備的理想之選，這顯著擴大了深度學習在工業4.0 以及無人機和自動駕駛領域的應用。

GPU擁有更高的計算精度和更高的預測精度，但這些是以更短的供貨周期、更高的功耗以及更低的數據吞吐量為代價的。在一個示範性的對比中，基於FPGA的解決方案的數據處理性能是使用GPU的類似解決方案的7.3倍左右。

圖4：FPGA 的性能大約是GPU 性能的7.3倍

優化FPGA 資源

在深度學習領域，存在各種不用降低分類質量就能節省資源的方法。其中之一是通過圖像縮放來降低數據吞吐量，或者改變數據位深：我們的項目經驗表明，數據的位深對後來的預測精度影響甚微。將數據位深32位浮點數降為8位定點數或整數，可以讓FPGA將節省下來的資源用於更大的網絡架構，或實現更高的數據吞吐量，從而實現處理速度的提升，這對例如焊縫檢測或機器人技術這類應用非常有意義。通過類似的預處理降低數據量，讓更適合FPGA的小型網絡的使用成為可能，這樣的網絡通常足以處理缺陷特徵較少的簡單分類任務。

32 位浮點GPU 雖然擁有更高的計算精度，但這一點對深度學習的推斷而言無關緊要，在FPGA中使用8位定點運算的網絡，能為大多數深度學習應用提供足夠精確的預測精度，誤差幾乎可以忽略不計。如果需要特別高的計算精度，可以採取一種資源折中策略，在更大的FPGA 上使用16位定點運算。

現在已經有了能完美滿足工業生產的高速處理需求的解決方案，通常使用高性能圖像採集卡或者嵌入式視覺設備，例如使用大型FPGA和高解析度傳感器的智能相機。利用多種多樣的FPGA 資源，可以處理更複雜的架構以及應用。有了更高的數據帶寬，能夠在FPGA上對整幅圖像進行處理，或進行額外的圖像預處理以及後期處理，例如對GigE Vision相機的最大數據輸出帶寬的深度學習運算也完全能夠滿足。

結語

與傳統圖像處理相比，深度學習應用需要在訓練方面投入較多時間，但是相較其帶來的可靠性和處理速度，這些投入是值得的。圖像採集卡和（嵌入式）視覺設備上所使用的FPGA技術，令神經網絡應用於工業級應用成為可能，這需要強大的實時處理能力、低延遲（實時在線檢測）、高數據吞吐量、高帶寬和低功耗低發熱（嵌入式視覺應用），以及高解析度。FPGA 及圖像採集卡較長的供貨周期保障了投資安全性，同時由於系統可快速的整合且整體系統成本較低，用戶可以節省長期支出。

編輯：hfy

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴