【新課上線】tensorflow+目標檢測:龍哥教你學視覺—LabVIEW深度學習教程(強推)
課程目標:
1、讓沒有任何python,tensorflow基礎的學員學習到如何搭建深度學習訓練平臺。
2、學會使用imglabel軟體標註圖片,弄清楚怎麼樣標註目標
3、學會利用labview調用tensorflow進行ssd/faster-rcnn模型的訓練
4、學會利用labview實現觀察模型訓練過程loss曲線
5、學會利用labview調用tensorflow進行ssd/faster-rcnn模型的評估
6、學會利用labview實現觀察模型評估結果圖像
7、學會利用labview實現導出tensorflow凍結圖模型文件pb
8、學會利用labview實現導出tensorflow凍結圖模型文件pb轉為openvino模型文件IR
9、學會利用labview實現tensorflow/openvino 模型pb/IR文件的加載
10、學會利用labview實現tensorflow/openvino 模型pb/IR文件的圖像測試目標檢測
11、案例:貓狗數據集,引腳缺陷檢測數據集,金屬切削缺陷檢測數據集,塗膠缺陷檢測數據集,元件缺陷檢測數據集,開關缺陷檢測數據集,藥丸缺陷檢測數據集,
12、動態檢測案例:五金件缺陷檢測
購買連結:http://url.elecfans.com/u/43574378f2
意向購買或者了解課程都可以聯繫木木:18123773580
一、知識背景:
隨著自動化技術的快速發展,在工業生產中很多需要人工操作的環節逐漸轉由機器完成,工業生產自動化也將越來越多的工人們從枯燥乏味的工作中解放出來,讓他們去發揮更大的價值。
產品表面缺陷檢測是工業生產中的重要環節,是產品質量把控的關鍵步驟,藉助缺陷檢測技術可以有效的提高生產質量和效率。但是由於設備及工藝等因素的影響,產品表面的缺陷類型往往五花八門,比如織物生產中方出現的汙點、破損,金屬產品上的劃痕、裂紋、凹凸不平等各種不同類型的缺陷,如下圖所示。
單張圖片中的缺陷多樣且不同缺陷表現形式的也不相同,給缺陷的自動化檢測帶來了困難。
二、傳統算法;
傳統的表面缺陷檢測算法結構通過圖像預處理得到便於檢測的圖像,隨後藉助統計機器學習方法來提取圖像特徵,進而實現缺陷檢測的目標。
圖像預處理通常包括直方圖均衡化、濾波去噪、灰度二值化、再次濾波幾部分,以得到前後景分離的簡單化圖像信息;隨後利用數學形態學、傅立葉變換、Gabor 變換等算法以及機器學習模型完成缺陷的標記與檢測。
上述傳統算法在某些特定的應用中已經取得了較好的效果,但仍然存在許多不足。例如:圖像預處理步驟繁多且具有強烈的針對性,魯棒性差;多種算法計算量驚人且無法精確的檢測缺陷的大小和形狀。而深度學習可以直接通過學習數據更新參數,避免了人工設計複雜的算法流程,並且有著極高的魯棒性和精度。
三、深度學習
目前,基於深度學習的缺陷檢測已經應用於金屬固件、布匹絲織物、建築裂紋、鋼筋裂紋等多個領域,並取得了不錯的成果。下面將結合具體案例介紹其實現方法。
3.1裂紋缺陷檢測[1]
建築材料(如磁瓦等)的外觀變化(如裂紋或腐蝕等)與其建築結構的安全性密不可分,而依靠檢察員視覺檢查的效果局限性大,相比之下,基於計算機視覺的結構損傷檢測更為可靠便捷。
Fast RCNN的作用為對圖像中的缺陷位置進行定位和分類,其結構流程如上圖所示。
從輸入圖像中提取特徵圖並獲得感興趣區域(ROI);
在ROI池中,預先計算的興趣區域覆蓋在特徵圖上,提取固定大小的特徵向量;
將所得向量輸入全連接層,計算邊界框的位置並對框內對象進行分類。
3.2破損缺陷檢測在電氣化鐵路等工業中,有許多關係著安全的重要固件,這些固件的缺陷檢測十分重要。
利用深度卷積神經網絡SSD等網絡方法構建了一個從粗到細的級聯檢測網絡,包括固件的定位、缺陷檢測與分類,其實現流程如下圖所示。
(1) 緊固件提取
藉助在速度和精度方面都表現良好的SSD框架,對圖像中的懸臂節點進行定位;
(2) 固件缺陷檢測與分類
根據第二階段對緊固件的檢測來判斷缺陷;具有良好的魯棒性和自適應性,有利於檢測的快速進行,因此本方法在緊固件的缺陷檢測和分類中具有良好的應用前景。
3.3斑點缺陷檢測
斑點缺陷檢測在紡織、木材、瓷磚等許多行業中都很常見,通常利用其紋理的一致性實現檢測的目的。近年來,利用深度學習視覺檢測技術對相關產業的表面缺陷檢測引起了廣泛關注。
3.4劃痕缺陷檢測
劃痕缺陷檢測通常用於金屬類產品的表面缺陷檢測中,隨著生活質量的提高,人們對產品的外觀完整性與美觀程度的要求也越來越高,因此精準地檢測到產品外觀的劃痕等缺陷在生產環節十分重要。
四、總結;
總的來說,使用基於深度學習的算法可快速準確地實現的缺陷檢測,且適用範圍廣能夠靈活地應用於建築、金屬固件以及布匹絲織物等眾多行業的生產過程中。
隨著機器學習, 深度學習的發展,很多人眼很難去直接量化的特徵, 深度學習可以搞定, 這就是深度學習帶給我們的優點和前所未有的吸引力。很多特徵我們通過傳統算法無法量化,或者說很難去做到的, 深度學習可以搞定。特別是在圖像分類, 目標檢測這些問題上取得了顯著的提升。下圖是近幾年來深度學習在圖像分類問題上取得的成績。
之所以提出上面的算法, 是因為這些算法給其他領域提供了很多參考和借鑑意義。比如本文討論的缺陷檢測, 上面的很多網絡的特點,以及方法都給了我們很多的啟發,我們在設計網絡結構的時候,配合自己在產線部署的硬體性能,設計適合項目的網絡結構。
當然,深度學習的方法用來檢測,也有自己的很多缺點。例如:數據量要求大,工業數據收集成本高。但是隨著數據增強技術,無監督學習的不斷進步,在某些應用場景上,這些缺點漸漸被隱藏了。例如學術界正在研究的,自動網絡結構設計,自動數據標註等等。所以作者認為隨著技術的發展,這個領域將會得到很大的提升,人工檢測終將會被機器檢測替代。然後你看到的無人工廠更加會無人化~
目前深度學習從業人員薪資處於高位,且屬於人才緊缺的行業,就業前景廣闊。
● 機器視覺缺陷檢測的痛點
● 仍存在下面主要的問題和難點
1) 受環境、光照、生產工藝和噪聲等多重因素影響,檢測系統的信噪比一般較低,微弱信號難以檢出或不能與噪聲有效區分。如何構建穩定、可靠、魯棒的檢測系統,以適應光照變化、噪聲以及其他外界不良環境的幹擾,是要解決的問題之一。
2) 由於檢測對象多樣、表面缺陷種類繁多、形態多樣、複雜背景,對於眾多缺陷類型產生的機理以及其外在表現形式之間的關係尚不明確,致使對缺陷的描述不充分,缺陷的特徵提取有效性不高,缺陷目標分割困難;同時,很難找到「標準」圖像作為參照,這給缺陷的檢測和分類帶來困難,造成識別率尚有待提高。
3) 機器視覺表面缺陷檢測,特別是在線檢測,其特點是數據量龐大、冗餘信息多、特徵空間維度高,同時考慮到真正的機器視覺面對的對象和問題的多樣性,從海量數據中提取有限缺陷信息的算法能力不足,實時性不高。
4) 與機器視覺表面檢測密切相關的人工智慧理論雖然得到了很大的發展,但如何模擬人類大腦的信息處理功能去構建智能機器視覺系統還需要理論上的進一步研究,如何更好的基於生物視覺認識、指導機器視覺得檢測也是研究人員的難點之一。
5) 從機器視覺表面檢測的準確性方面來看,儘管一系列優秀的算法不斷出現,但在實際應用中準確率仍然與滿足實際應用的需求尚有一定差距,如何解決準確識別與模糊特徵之間、實時性與準確性之間的矛盾仍然是目前的難點。
傳統算法在某些特定的應用中已經取得了較好的效果,但仍然存在許多不足。例如:圖像預處理步驟繁多且具有強烈的針對性,魯棒性差;多種算法計算量驚人且無法精確的檢測缺陷的大小和形狀。而深度學習可以直接通過學習數據更新參數,避免了人工設計複雜的算法流程,並且有著極高的魯棒性和精度。
課程目標:
1、讓沒有任何python,tensorflow基礎的學員學習到如何搭建深度學習訓練平臺。
2、學會使用imglabel軟體標註圖片,弄清楚怎麼樣標註目標
3、學會利用labview調用tensorflow進行ssd/faster-rcnn模型的訓練
4、學會利用labview實現觀察模型訓練過程loss曲線
5、學會利用labview調用tensorflow進行ssd/faster-rcnn模型的評估
6、學會利用labview實現觀察模型評估結果圖像
7、學會利用labview實現導出tensorflow凍結圖模型文件pb
8、學會利用labview實現導出tensorflow凍結圖模型文件pb轉為openvino模型文件IR
9、學會利用labview實現tensorflow/openvino 模型pb/IR文件的加載
10、學會利用labview實現tensorflow/openvino 模型pb/IR文件的圖像測試目標檢測
11、案例:貓狗數據集,引腳缺陷檢測數據集,金屬切削缺陷檢測數據集,塗膠缺陷檢測數據集,元件缺陷檢測數據集,開關缺陷檢測數據集,藥丸缺陷檢測數據集,
12、動態檢測案例:五金件缺陷檢測
主要知識點:
1Tensorflow-GPU環境的搭建
Tensorflow object環境搭建
學會如何標註圖片
如何labview快速通過遷移學習訓練自己的模型
如何利用labview生成優化後的OPENVINO模型IR
如何利用labview調用訓練後的PB模型和IR模型進行目標檢測
針對很多學員不了解labview中如何調用tensorflow進行深度學習模型的訓練和調用,推出一整套完整的簡潔易學的視頻課程,使學員能在沒有任何深度學習理論基礎,不懂python程式語言的前提下,使用labview訓練和部署深度學習模型,並配備相關案例視頻。
課程目錄:
Tensorflow環境搭建
Object_detection api安裝
相關py文件編譯測試
測試tensorflow目標檢測
學習如何使用labimg標註
如何生成label文件
如何生成tfrecord文件
如何使用SSD模型訓練train數據
如何觀察tensorboard的訓練過程
如何分析loss變化
如何評估訓練好的ckpt文件
觀察評估圖像的檢測結果
生成凍結圖模型pb文件
Labview將Pb文件優化生成openvino模型IR文件
Labview調用凍結圖pb文件進行目標檢測
Labview調用openvino模型IR文件進行目標檢測
案例分析
案例:貓狗數據集,引腳缺陷檢測數據集,金屬切削缺陷檢測數據集,塗膠缺陷檢測數據集,元件缺陷檢測數據集,開關缺陷檢測數據集,藥丸缺陷檢測數據集
動態案例分析:五金件外觀缺陷實時檢測案例
1、 本期眾籌課程有哪些亮點?
1、全網第一套labview進行深度學習訓練和模型部署的完整教程,滿足從業人員使用labview完成相關編程的需求。
2、該套課程不需要有很強的labview視覺編程基礎,小白學員即可進行學習
3、該套課程不需要有很強的python語言編程基礎,小白學員即可進行學習
4、labview對cpu上推理深度學習模型進行了優化,其運行速度和效率優於python平臺
5、課程不僅講授了環境配置,labview訓練和調用的編程方法,還講解了大量的案例,手把手幫助學員學會如何在labview中應用深度學習
6、課程贈送相關工業圖像數據集,其價值遠遠大於課程本身。
2、用戶購買後,將會獲得哪些收益?
1、全網唯一完整labview調用深度學習視頻教程,極大提高學員技術水平。
2、掌握最有前景的深度學習技術,使自身技術在未來5-10年處於高端水平。
3、目前深度學習缺陷檢測職位薪資水平處於高位,學習後找到更高薪資的職位。
4、800分鐘視頻教程,4年觀看期
5、500M深度學習數據樣本
6、全網唯一完整的labview調用深度學習訓練和部署的源碼,比NI官網更全面。
1、適用於labview行業從業者利用labview進行深度學習應用;
2、適用於plc電氣工程師利用labview進行深度學習應用編程;
3、適用於機械工程師利用labview進行深度學習應用編程;
4、適用於在校大學生/研究生利用labview實現課程設計和課題研究;
5、適用於IT網際網路行業人群快速掌握tensorflow訓練的流程;
學生或新手可以直接學習,課程不涉及python編程,不需要python基礎,不涉及到理論的理解,課程手把手教學員如何一步步進行環境配置和訓練調用,讓學員直接掌握深度學習動手實踐的能力,只要跟著視頻做就能學會應用。
老手必須入手,深度學習一定是未來5-10年的高端技術,為自動化或網際網路行業提供的新的有效的解決方案,針對傳統視覺算法需要手動設計特徵提取方法的弊端,深度學習模擬人的大腦神經網絡運行模型,通過計算機強大的運算能力,能擬合出比傳統算法適用性更強的模型,解決了行業內的難題。國內外大型自動化公司都在積極研發深度學習技術,作為老手一定要儘快更新技術,不被時代所拋棄,保持競爭力。
1、如何加入眾籌專屬學員群?
① 活動專屬學員qq群
已購買本活動任一眾籌套餐學員,請添加龍哥課程助教木木微信:18123773580,備註填寫訂單號(即:微信或支付寶,支付成功界面顯示的「商戶單號」)
*注意:對本次眾籌活動,有任何購買或課程知識點疑問(不包含技術解答),可添加助教木木微信:18123773580諮詢。
2、關於發貨時間
購買即可觀看,視頻通過網盤下載,分配對應帳號和密碼。
屆時會在眾籌活動qq群、微信群已公告形式通知大家,請相互告知。
3、關於眾籌後課程安排
這兩套課程僅在眾籌和高級訓練營(價格相對較高)發布,不會以普通課程的形式在電子發燒友發布,請有需要的學員抓緊機會,參加性價比最高的眾籌活動。
課程目錄:
1.安裝anaconda3軟體環境配置python3
2.添加國內鏡像源建立tf_gpu虛擬環境
3.tf_gpu虛擬環境下安裝vscode以及配置
4.安裝tensorflow並測試是否安裝成功
5.安裝GIT工具tensorflow object detection api-matplotlib pillow lxml contextlib2 cython
6.設置tensorflow環境變量安裝cocoapi測試安裝是否成功
7.編譯測試proto文件下載modelzoom中的ssd模型
8.測試SSD_inception_v2模型目標檢測效果驗證環境安裝是否正常
9.tensorflow模型訓練所需配置分析labelimag如何標記圖像
10.映射文件pbtxt文件構建安裝pandas生成label_csv文件
11.生成train_tfrecord和eval_tfrecord文件
12.修改訓練配置文件config調用train指令訓練貓狗數據集
13.觀察訓練過程中loss的變化tensorboard查看訓練的詳細曲線
14.利用訓練好的ckpt文件評估eval數據集的準率度tensorboard觀察數據集測試效果labview調用模型
15.labview編寫深度學習訓練平臺思路編寫獲取目錄子vi
16.labview深度學習訓練平臺-創建目錄子vi
17.labview深度學習訓練平臺-生成csv和生成bat文件
18.labview深度學習訓練平臺-read_pbtxt子vi
19.labview深度學習訓練平臺-生成generate_tfrecord
20.labview深度學習訓練平臺-生成tfrecord
21.labview深度學習訓練平臺-生成config文件1
22.labview深度學習訓練平臺-生成config文件2
23.labview深度學習訓練平臺-生成config文件3
24.labview深度學習訓練平臺-生成train
25.labview深度學習訓練平臺-生成eval
26.labview深度學習訓練平臺-生成導出凍結圖
27.labview深度學習訓練平臺-labview-tensorflow-AI-前面板設計刷新目錄
28.labview-tensorflow-AI-生成csv-生成tfrecord
29.labview-tensorflow-AI-導出凍結圖pb模型文件
30.labview-tensorflow-AI-開始訓練-觀察訓練-評估模型-觀察評估
31.labview-tensorflow-AI-labview導入pb模型-運行pb模型顯示檢測結果
32.labview-tensorflow-AI-pb模型轉化為openvino模型
33.labview-tensorflow-AI-測試openvino模型速度-導出IR模型
34.labview-tensorflow-AI-labview導入IR模型-運行IR模型顯示檢測結果
35.labview-tensorflow-AI-下載SSD-faster-rcnn等多種模型測試訓練樣本
36.labview-tensorflow-AI-引腳缺陷檢測案例SSDv2模型訓練
37.labview-tensorflow-AI-引腳缺陷檢測案例SSDvsFasterRCNN模型效果
38.labview-tensorflow-AI-labview調用引腳缺陷檢測SSDvsFasterRCNN模型
39.labview-tensorflow-AI-塗膠檢測案例SSD訓練模型評估模型
40.labview-tensorflow-AI-塗膠檢測案例faster-rcnn訓練模型評估模型
41.labview-tensorflow-AI-金屬缺陷檢測案例SSD_lite訓練模型評估模型
42.labview-tensorflow-AI-金屬缺陷檢測案例faster-rcnn-inception訓練模型評估模型labview調用
43.labview-tensorflow-AI-金屬缺陷檢測案例faster-rcnn-resnet50訓練模型評估模型labview調用
44.labview-tensorflow-AI-開關缺陷檢測案例SSD_inception訓練模型評估模型Labview調用
45.labview-tensorflow-AI-藥丸缺陷檢測案例SSD_inception訓練模型評估模型
46.labview-tensorflow-AI-藥丸缺陷檢測案例faster-rcnn-inception訓練模型評估模型labview調用
47.labview-tensorflow-AI-材料缺陷檢測案例faster-rcnn訓練模型評估模型
48.labview-tensorflow-AI-攝像頭動態檢測U盤案例ssd-inception訓練模型評估模型labview調用
49.labview-tensorflow-AI-攝像頭動態檢測金屬裂紋缺陷案例ssd-inception訓練模型評估模型labview調用
50.labview-tensorflow-AI-攝像頭動態檢測金屬裂紋缺陷案例ssd-inception訓練模型評估模型實際效果