TLU-Net:表面缺陷自動檢測的深度學習方法

2021-02-17 小白學視覺

點擊上方「小白學視覺」，選擇加"星標"或「置頂」

重磅乾貨，第一時間送達

論文是學術研究的精華和未來發展的明燈。小白決心每天為大家帶來經典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內容。個人能力有限，理解難免出現偏差，建議對文章內容感興趣的讀者，一定要下載原文，了解具體內容。

鋼表面缺陷的目視檢測是鋼板製造過程中必不可少的環節。近年來研究了幾種基於機器學習的自動視覺檢測(AVI)方法。然而，由於訓練時間和AVI方法的不準確性，大多數鋼鐵製造行業仍然使用人工目視檢查。自動鋼缺陷檢測方法在成本更低和更快的質量控制和反饋方面是有用的。但是，為分割和分類準備帶注釋的訓練數據可能是一個昂貴的過程。在這項工作中，我們建議使用基於遷移學習的U-Net (tu - net)框架來檢測鋼表面缺陷。我們以U-Net架構為基礎，探討了兩種編碼器:ResNet和DenseNet。我們使用隨機初始化和使用ImageNet數據集訓練的預訓練網絡的性能進行了比較。實驗使用Severstal數據進行。結果表明，遷移學習的缺陷分類性能比隨機初始化的缺陷分類性能好5%(絕對)。我們發現遷移學習在缺陷分割中的表現比隨機初始化好26%(相對)。遷移學習的增益隨著訓練數據的減少而增加，且遷移學習的收斂速度優於隨機初始化。

在本研究中，我們系統地研究了遷移學習在鋼材缺陷分類與定位(SDCL)中的有效性。遷移學習或領域適應的目的是重用在一個領域學習到的特徵，以提高在另一個領域的學習。在帶注釋的數據有限的情況下，這是一種流行的方法。遷移學習在各種任務中都有很好的應用，如對象檢測、語義分割等。已經表明，從一個任意領域到另一個領域的遷移學習可能是沒有用的。當兩個領域相似時，遷移學習最有效。因此，研究遷移學習在SDCL案例中的有效性就顯得尤為重要。我們考慮了一個用於鋼缺陷分割的u網基線架構。U-Net已經展示了在各種圖像分割任務的藝術表現狀態。它使用了帶有跳過連接的編碼器-解碼器架構。編碼器學習不同尺度的圖像特徵，解碼器使用這些特徵預測分割掩碼。

在這項工作中，我們探索了兩種預先訓練的編碼器網絡ResNet和DenseNet網絡。這兩種網絡在不同的計算機視覺任務中都表現得很好。網絡是在ImageNet數據集上預先訓練的。我們使用一個線性分類器使用瓶頸表示的U-Net分類缺陷。我們使用Severstal數據集對網絡的編碼器和解碼器進行微調。在Severstal數據上的實驗表明，與隨機初始化相比，預先訓練網絡的分割和分類性能都更好。研究發現，如果使用50%的數據進行訓練，使用預訓練網絡的性能提高甚至更高。我們還證明了遷移學習的收斂速度比隨機初始化快。

提出的用於節點鋼缺陷分類和分割的結構遷移學習方法。藍色的線表示跳躍連接，橙色虛線表示初始化。

編碼器層的結構為Resnet(左)和Densenet(右)。輸入的連接由(c)表示，+表示添加操作。BN+ReLU+Conv2D表示批處理歸一化、ReLU激活和核尺寸為3x3的卷積。

圖分割掩模預測。(a行)輸入圖像(b行)ground truth masks (c行)ResNet(Random)預測的掩碼(d行)ResNet(ImageNet)預測的掩碼。預測的相應骰子顯示在圖像的標題中。

在本研究中，我們建議使用遷移學習框架來進行鋼材缺陷的分類和分割。我們使用U-Net架構作為基礎架構，並探討兩種編碼器:ResNet和Dense Net。我們比較了使用隨機初始化的網絡和使用ImageNet數據集訓練的預訓練網絡的性能。我們發現，遷移學習的性能在缺陷分割和分類方面都優於ImageNet。我們還發現，隨著培訓數據的減少，績效差距增加。我們還發現，遷移學習的收斂速度比隨機初始化的收斂速度要快。我們發現，在罕見缺陷類型和複雜形狀缺陷中，遷移學習性能較差。作為未來工作的一部分，我們將致力於遷移學習，使用合成數據處理更複雜的形狀，以及使用生成模型進行罕見的缺陷類型泛化。我們希望探索半監督/弱監督學習方法來減少標註訓練數據的需求。

論文連結：https://arxiv.org/pdf/2101.06915.pdf

每日堅持論文分享不易，如果喜歡我們的內容，希望可以推薦或者轉發給周圍的同學。

- END -

下載1：OpenCV-Contrib擴展模塊中文版教程在「小白學視覺」公眾號後臺回覆：擴展模塊中文教程，即可下載全網第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超解析度處理等二十多章內容。在「小白學視覺」公眾號後臺回覆：Python視覺實戰項目31講，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數、添加眼線、車牌識別、字符識別、情緒檢測、文本內容提取、面部識別等31個視覺實戰項目，助力快速學校計算機視覺。在「小白學視覺」公眾號後臺回覆：OpenCV實戰項目20講，即可下載含有20個基於OpenCV實現20個實戰項目，實現OpenCV學習進階。在「小白學視覺」公眾號後臺回覆：leetcode，即可下載。每題都 runtime beats 100% 的開源好書，你值得擁有！

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫學影像、GAN、算法競賽等微信群（以後會逐漸細分），請掃描下面微信號加群，備註：」暱稱+學校/公司+研究方向「，例如：」張三 + 上海交大 + 視覺SLAM「。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進入相關微信群。請勿在群內發送廣告，否則會請出群，謝謝理解~

相關焦點

  • 【金猿技術展】自動缺陷檢測與分類技術——ADC
    數之聯應用深度學習和人工智慧技術，研發了數之聯自動缺陷分類技術（ADC），讓機器在檢測出缺陷的同時，也可以對缺陷類型進行精確分類，從而指導後續生產。並在這一過程中，不斷累積經驗、獲得成長。進而顯著提升缺陷辨識率、缺陷分類正確率和檢測效率。
  • 天津大學、東京大學等研究:用深度強化學習檢測模型缺陷
    新智元專欄作者：段義海【新智元導讀】天津大學多智能體與深度強化學習實驗室與東京大學、日本 AIST 研究所合作的一篇論文，提出利用深度強化學習方法來檢測信息物理系統(CPS)模型中的缺陷。與傳統方法相比，深度強化學習方法在大多數情況下能夠通過更少次的模擬實驗找出系統的缺陷。
  • 大恆圖像金屬表面缺陷檢測及尺寸測量系統
    該系統安裝在具有規則形狀的金屬產品生產流水線上，可對生產線上的每個產品的表面缺陷及外形尺寸等進行在線檢測，尤其對於有金屬光澤的產品的表面質量檢測效果更加突出。
  • 基於深度學習的目標檢測算法綜述
    一、從Rcnn到Faster-Rcnn從Rcnn開始Girshick大神將深度學習引入目標檢測領域，後來連續發力，最終將目標檢測的所有步驟都統一在了深度學習框架之下，這就意味著所有的計算過程都可以在GPU內進行，從而計算精度和計算速度都有了很大提升。
  • 深度學習有望詮釋微觀世界
    基於深度學習的微觀圖像分析方法的流程（北京郵電大學供圖）用透射電子顯微鏡（TEM）、掃描電子電鏡(SEM)、掃描探針顯微鏡(SPM)先進儀器等獲取微觀圖像，幫助人們理解物質的結構，已成為材料研究界普遍使用的方法。
  • 3D目標檢測深度學習方法數據預處理綜述
    關注 極市平臺 公眾號 ，回復 加群，立刻申請入群~前言這一篇的內容主要要講一點在深度學習的3D目標檢測網絡中，我們都採用了哪些數據預處理的方法，主要講兩個方面的知識，第一個是representation，第二個數據預處理內容是數據增廣。
  • 自動駕駛技術之——3D感知環境的深度學習方法
    我們將首先回顧一些有關捕獲和表示3D數據的常用方法的背景信息。然後，我們將描述三種不同的3D數據表示的基本深度學習方法。最後，我們將描述有前途的新研究方向，並總結我們對該領域前進方向的看法。c、多邊形網格由一組多邊形面組成，這些面具有接近幾何表面的共享頂點。將點雲視為來自底層連續幾何表面的採樣3D點的集合；多邊形網格旨在以易於渲染的方式表示那些底層表面。雖然最初是為計算機圖形創建的，但多邊形網格也可用於3D視覺。有幾種方法可以從點雲中獲得多邊形網格，包括Kazhdan等人的泊松曲面重構。
  • 技術回顧 ▏深度學習在機器視覺中有哪些典型的應用?
    2、利用深度學習推理檢測相機外殼上的缺陷通常，使用傳統的機器視覺檢測方法來確定缺陷並不是一件容易的事，例如發現工業相機外殼上可能存在的缺陷。然而，深度學習技術卻為此類缺陷檢測應用提供了一種有效的方法。使用偏振相機取像，獲得四個角度的圖像，能夠檢測產品表面不同角度的劃痕情況，提高檢測覆蓋率。這也是針對晶片行業中表面鏡面產品的外觀檢測的創新應用。 在機器視覺應用中，外觀檢測一直是行業痛點。外觀缺陷中的劃痕、髒汙、形態不一、大小不同、深淺和各種姿態都不同，很難用傳統的視覺檢測算法穩定檢測。但是隨著深度學習技術的發展，採用深度學習模式的外觀檢測程式，成為了外觀檢測的新方法。
  • MXNet設計筆記之:深度學習的編程模式比較
    筆記的思想不局限於MXNet，也不局限於深度學習，無論對深度學習初學入門還是對高階提升，都具有很好的參考價值。本文是第一篇設計筆記的譯文，深入討論了不同深度學習庫的接口對深度學習編程的性能和靈活性產生的影響。市面上流行著各式各樣的深度學習庫，它們風格各異。那麼這些函數庫的風格在系統優化和用戶體驗方面又有哪些優勢和缺陷呢？
  • 創新的檢測手段,讓晶體矽光伏電池缺陷「無處可逃」
    本文旨在建立晶體矽光伏電池在電磁感應主動激勵下的紅外熱成像缺陷檢測方法，相比基於機器視覺的矽光伏電池表面缺陷檢測方法，該方法具有檢測靈敏度高、可發現內部缺陷、檢測缺陷種類多等優勢。以晶體矽光伏電池為例，如圖1a所示，在原材料的生產過程中受到汙染會出現黑晶片、暗晶粒片、滑移錯位、重摻雜等缺陷；在晶體矽光伏電池生產製作過程會出現隱裂、刮痕、斷柵、熱斑、燒結異常等缺陷。在成像系統方面，近幾年熱成像技術、深度學習和人工智慧在電力及新能源行業故障檢測的研究和應用逐漸增多。
  • 如何將深度學習應用於無人機圖像的目標檢測
    本文全面概述了基於深度學習的對無人機航拍圖像進行物體檢測的方法。隨著基於深度學習的計算機視覺為這些無人機「提供動力」，行業專家們預測無人機將在以前難以想像的應用場景中被前所未有地廣泛使用。 我們將探索一些應用以及伴隨著它們的挑戰，這些應用基於深度學習完成了基於無人機的自動化監測。 在最後，我們將展示一個使用Nanonets機器學習框架對非洲住房項目進行遠程監測的案例。
  • 柔性印刷線路板缺陷檢測方法指南
    柔性印刷線路板缺陷檢測技術發展現狀現有的FPC缺陷檢測算法多衍生於PCB檢測算法，但受本身獨特性限制，FPC板缺陷精度要求更高，檢測樣板尺寸更大，樣板成像易變形，使得針對PCB板的缺陷檢測算法不能直接套用FPC板的檢測算法，需要根據FPC板實際線路特徵制定與之適宜的檢測算法。
  • 自動駕駛LiDAR點雲深度學習綜述
    近些年來, 隨著深度學習的不斷突破和三維點雲數據的可及性，3D深度學習在2D深度學習的基礎上取得了一系列顯著的成果。這些3D深度學習網絡主要應用於自動駕駛汽車的幾個相關任務，例如：語義分割和場景理解，目標檢測和目標分類。因此，本文主要集中在構建基於深度學習的LiDAR點雲在自動駕駛汽車分割，檢測，和分類任務上的系統性綜述。
  • 圖像分割中的深度學習:U-Net 體系結構
    目前，已經有了很多傳統方法可以實現這一過程（https://www.analyticsvidhya.com/blog/2019/04/introduction-image-segmentation-techniques-python/），例如點、線和邊緣檢測方法，閾值分割法，基於區域的聚類，基於像素的聚類，形態學的方法等等。
  • 機器視覺定位如何在線檢測螺絲、螺母的缺陷
    在目前的市場，推出基於機器視覺的檢測方法，檢測原理是通過CCD相機拍照，軟體進行圖像分析，這種方法高效、高速、非接觸的檢測。 就例如螺絲螺母對於品質要求極為嚴格，而且，螺絲螺母的使用量一般都很大，一般都是大批量生產，這時外觀檢測依靠人工是完全應付不過來的，所以只能採用光學影像檢測設備來進行品質檢測。
  • PCBA檢測的必要性及檢驗方法
    為了確保組裝PCB的高質量和可靠性，PCB製造商和裝配商必須在製造和裝配過程中的不同階段對電路板進行檢查，以消除表面缺陷。此外，及時和專業的檢查能夠導致在電氣測試之前暴露的缺陷，並有利於統計過程控制（SPC）的數據積累。表面貼裝技術（SMT）的廣泛應用提高了對檢測的要求，因為SMT焊點必須承受比應用通孔電鍍（PTH）技術更多的應力。
  • 深度學習基於攝像頭和雷射雷達融合的3-D目標檢測
    檢測器將RGB圖像和雷射雷達點雲作為輸入，並遵循兩步目標檢測框架。區域提議網絡（RPN）在點雲的鳥瞰視圖（BEV）投影中生成3D提議。第二步將3D提議邊框投影到圖像和BEV特徵圖，並將相應的圖截取發送到檢測頭（detector head）以進行分類和邊界框回歸。與其他多視圖方法不同，裁剪的圖像特徵不直接饋送到檢測頭，而是被深度信息掩蓋以過濾掉3D邊框外的部分。
  • 深度學習檢測小目標常用方法
    在深度學習目標檢測中，特別是人臉檢測中，小目標、小人臉的檢測由於解析度低，圖片模糊，信息少，噪音多，所以一直是一個實際且常見的困難問題
  • SNE-RoadSeg:一種基於表面法向量提取的道路可行駛區域分割方法
    駕駛場景下對周圍環境的理解是自動汽車的一項重要任務，隨著人工智慧的最新進展，它有了很大的飛躍。無碰撞空間（Collision-free space，簡稱freespace）檢測是駕駛場景理解的一個基本組成部分。自由空間檢測方法一般將RGB或深度/差值圖像中的每個像素分類為可駕駛或不可駕駛。
  • 焊接缺陷檢驗的常用方法
    三，焊接缺陷檢驗的常用方法1，外觀檢驗，通常就是靠肉眼觀測檢驗，藉助一些工具能大大提高檢驗的準確性，常用的工具有：焊縫檢驗規、捲尺、鋼直尺、低倍放大鏡等，一般是檢驗焊縫外部的缺陷。2氣密性檢驗，一般是對熔器、管道等須要對其進行氣密性檢驗，根據被測對象的要求不同進行不一樣的檢驗。