利用CNN進行雷射焊接連續變截面板的穿透狀態的在線監測

江蘇雷射聯盟導讀：來自湖南大學的研究人員為大家展示了一個單視覺為基礎的雷射焊接監測平臺來進行目標的雷射監測；將焊接圖像分成兩大類型、三大類型和四大類型；利用CNN對圖像的特徵進行了截取。利用該方法進行焊接穿透狀態的截取，其精度達到94.6%。並採用不同的焊接參數對提出的監控系統進行了驗證。

圖1 採用CNN（卷積神經網絡）進行焊接特徵的提取

摘要：研究人員採用一種創新的監控系統來診斷焊接過程中的穿透狀態。這一監控包括兩個模板，一個時同軸的視覺監控平臺；一個時焊接穿透狀態的診斷單位。這一平臺通過一個部分傳統的鏡子和高速相機，可以捕獲在雷射焊接時的相互作用區的同軸 照片。圖像數據代表四種焊接狀態的圖像數據在創建後用來進行訓練和驗證。該單元包括植入的高性能TX2計算系統和基於CNN（卷積神經網絡）的圖像處理算法。實驗結果證明該平臺可以穩定的捕獲焊接狀態的圖像。用於診斷焊接穿透深度的CNN利用網絡結構和超參數進行優化，應用一個超級的高斯功能來初始化卷積層的重量。在實際連續變截面板的雷射焊接時，採用本文所提出的方法，其穿透狀態的診斷精度可以達到94.6%，即使是工藝條件發生極大的改變也是如此。驗證實驗和真實的雷射焊接結果的相似性證明，提出的監控系統具有很強的魯棒性。CNN的精度和召回比例顯著高於現有的其他方法。

圖 2 本案中的TRB板的示意圖

1引言

如何使小汽車獲得輕質，對新能源汽車來說面臨著巨大的挑戰。有三個辦法可以實現降低車身重量的目標，即：（1）採用鋁合金、鎂合金和碳纖維增強材料；（2）對車身部件進行拓撲優化；（3）應用異形結構板。其中異性結構板可以分為拼焊板（TWB）和連續變截面板（TRB）兩大類。然而，TRB板在車身中的應用時，在成型和焊接過程中面臨著諸多的挑戰。雷射焊接技術在有效地解決TRB的焊接方面是一種非常有前景的連接技術。這是因為雷射焊接具有高效、環境優化、靈活性好和焊接質量好的優點。雷射焊接TRB板的關鍵技術在於焊接過程中板厚會發生變化。控制好熱輸入以獲得適宜的焊接深度並確保焊接質量是非常關鍵的。因此，雷射焊接TRB板的在線監測在熱輸入調節方面至關重要。

圖3 雷射焊接在線監測的示意圖

雷射焊接是利用高能雷射束來加熱材料到一定溫度，然後熔化和再凝固的一個動態過程。在焊接過程中聲音信號、光信號等可以反映雷射焊接質量好壞的信號就會同時生成。因此，先進的探測技術廣泛的應用收集到的雷射焊接過程中的多個信號並用來進行質量的評估。視覺傳感器，具有非接觸和硬體簡單的特點，正成為雷射焊接工藝中較為流行的監控手段。考慮收集到的信息的質量、傳感器的位置、工業應用等諸多因素，視覺傳感器監測要比聲音監測、光電二極體、高光譜和Ｘ射線影像要更適合一些。焊接熔池的形態特徵可以利用影像處理算法進行提取。然而，滿足雷射焊接的環境是非常複雜的。不同傳感器獲取的數位訊號均需要不同的特殊辦法或過濾掉其中的幹涉部分。因此，同雷射焊接質量相關的關鍵特徵要提取出來。獲得高質量的二進位圖像是雷射焊接熔池和匙孔中提取特定區域的關鍵步驟。作者曾經應用一個傳統的圖像處理算法，利用這一算法可以提取焊縫、匙孔和穿透孔效率的關鍵特徵，見圖１ａ所示來提取焊接過程中的特徵參數。然而，二進位的工藝算法容易受到照明條件變化的影像，從而導致穩定的提取匙孔和穿透孔的邊界存在困難，見圖１ｂｃ所示。因此，這個時候需要手動調節每一狀態的門檻值。目前採用多個工業級別的探測器可以促進監控系統獲得較好的魯棒性。因此，分析不同特徵下的關聯性就顯得至關重要了。採用兩個高速相機來捕獲匙孔區域和等離子體羽狀物中心高度，緊接著，主導的同頻率相關的分析用來確定雷射焊接的穿透狀態，這可以提高焊接穿透深度預測的精度。而且，低成本的多探測器還可以獲得好的監測結果。結合數據融合和機器學習，焊接缺陷可以的精準的預測。將視覺傳感和機器學習結合在一起開始成為雷射焊接在線監測的新趨勢。

圖4 熔池的不同焊接狀態：將焊接狀態分為（a）2大類和（b）三大類的分類方法

近年來，在大數據驅動下的深度學習和先進的計算機的發展，其能力遠超人力的計算。其中CNN（卷積神經網絡）技術同傳統的技術相比，在自然環境條件下，對影像為基礎的分類具有顯著低的錯誤率。CNN技術在關鍵特徵的提取能力以及同傳統的機器視覺算法相比，在產品缺陷分類、裂紋探測和產品缺陷探測等方面具有無與倫比的的優勢。在不同的照片條件下，CNN在提取裂紋方面也比傳統方法要優越。同現有技術相比，CNN在識別穿透狀態方面為大家提供了一個新穎的解決辦法。

圖5 對焊接過程中感興趣的區域進行剪裁

來湖南大學的研究人為大家展示了一種雷射焊接連續變截面板的在線監控系統，包括焊接監控平臺和穿透狀態診斷平臺，用來診斷在雷射焊接TRB時的穿透狀態。一個同軸的視覺監控平臺用來收集雷射焊接過程中的高質量圖片。基於CNN的圖片處理，可以用來實時高精度的診斷焊接時的穿透狀態。這一技術的貢獻有三個方面：（１）採用創新性的雷射焊接監控平臺採集高質量的焊接圖片；（２）以CNN為基礎的圖像處理算法，包括圖片的剪輯算法和CNN模型的優化，可以搞精度的對焊接狀態進行診斷；（３）以CNN為基礎的圖像處理算法植入到計算機系統中可以滿足實時監控的需要。對四種狀態下的實驗進行了驗證，以驗證該監控系統在雷射焊接過程中在線監測焊接穿透深度的有效性和魯棒性。

圖6 穿透狀態診斷單元的流程圖

2雷射焊接監控平臺簡介

實驗用到的TRB板的厚度為1.2~2.0mm，尺寸大小為標準的240mmX240mm。圖2為TRB的示意圖，左下角為該板的外形示意圖，圖3所示為採用夾具對TRB板進行固定和整個系統的示意圖。夾具可以保證焊接時的表面是平整的，離焦量是變化的。雷射器為波長1070nm的光纖雷射器，功率上限為4kW。採用高速相機進行圖像採集。採用波長為808nm，功率為30W的半導體雷射對熔池進行照射，以增強圖片的亮度。

圖7 診斷結果的擬合

3數據的描述

焊接過程中，使用數字1-4代表不同的焊接狀態，分別代表部分穿透（PP）、中等程度的穿透（MP）、完全穿透（FP）和過渡穿透（EP）。如圖4所示。為了便於分析研究，我們將以上四種狀態合併成為兩大類和三大類，如圖4所示。在兩大類的分類方法中，一類是部分穿透（PP），另外一類是完全穿透（EP），這包括MP、FP和EP。而在三大類的分類方案中，穿透狀態為PP，而中等穿透狀態（MFP）則包括MP、FP和EP狀態。

圖8 在不同雷射功率條件下的測試結果

tips：

圖9 CNN（卷積網絡神經）的基本原理圖（最左側的圖片為輸入的交通信號）

文章來源：

Real-time penetration state monitoring using convolutional neural network for laser welding of tailor rolled blanks，Journal of Manufacturing Systems，Volume 54, January 2020, Pages 348-360。

參考資料： developer.nvidia.com

本文由江蘇雷射產業創新聯盟原創，歡迎關注，帶你一起長知識！