自动焊接识别系统,有干扰也不怕,照样精准!

   自动化那些事        

该研究针对实际焊接环境中强反射、飞溅和电弧噪声的干扰,提出了一种基于激光条纹边缘引导网络的多道焊接焊缝自主识别和特征提取方法。


首先,引入由改进的VGGnet、渐进式激光条纹特征提取、非局部激光条纹边缘特征提取、一对一制导模块和多特征融合模块组成的激光条纹边缘制导网络,在重弧噪声下识别激光条纹。然后采用灰色质心法对激光条纹进行细化。针对特征点位置的提取,采用了最小二乘法和二阶导数非均匀有理b样条。最后,实验和分析表明,该研究提出的方法具有良好的有效性、灵活性、准确性和鲁棒性,能够满足实际焊接要求。本文以“Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network”为题于2020年11月2日发布于《The International Journal of Advanced Manufacturing Technology》杂志上。


研究背景


多道焊广泛应用于船舶、桥梁桁架、压力容器[1]等中厚板的工业制造过程。目前实际的工业焊接环境中,多采用教与放的方法,每道工序都采用教与放的方法,导致劳动强度高,效率低。并且忽略了焊接过程中的热变形对焊缝位置的影响,导致焊接误差大,质量差。


近年来,引入了基于激光视觉的焊接机器人技术来改善这一状况,并取得了良好的性能。然而,在进行焊缝实时跟踪时,得到的用于焊缝识别和特征的焊接图像不可避免地会受到如图、飞溅和电弧噪声的污染。因此,在实时多道焊过程中,由于强反射、飞溅和电弧噪声的干扰,仍难以保证准确性和鲁棒性。


图为受污染的激光条纹a焊接前b焊接期间


该研究提出了一种基于激光条纹边缘制导网络(LSEGN)的多道焊自动焊缝识别与特征提取方法。首先,引入图像采集系统,生成焊缝截面数据集。


基于激光视觉的多通道机器人焊接图像采集系统如图所示,主要由自动焊机、六自由度工业机器人、工业个人计算机和视觉传感器组成。该系统采用ABB IB 1410工业机器人和Fronius TPS 4000 CMT自动焊机,对尺寸为500×100×15 mm的V形坡口钢进行了多道次焊接试验。同时,图中的视觉传感器。



图为图像采集系统


图为视觉传感器原理图


研究者提出了LSEGN模型来实现焊缝识别,然后利用曲线拟合技术提取焊缝特征点在强电弧噪声干扰下的像素坐标。LSEGN模型的总体结构如图所示。


图为拟议的LSEGN的总体架构


VGGNET使用多个小的卷积层可以提取更深层次的特征信息,这对于在强噪声条件下识别完整的激光条纹也是有效的。在研究者改进的VGGNET中,研究者删除了SoftMax层,并将连接层替换为一堆卷积层,如图所示。


图为基于改进VGG网络的骨干网


给出了用于焊缝识别和特征提取的总体流程。首先,在经过训练的LSEGN模型中对原始焊接图像进行处理,在高噪声条件下识别出完整的激光条纹;然后,灰色质心法利用图像的灰度值作为权重,从LSEGN的输出图像中提取出激光条纹的中心像素。


图为该研究提出的焊缝识别与特征提取方法的总体流程


图为特征点位置的示意图:a第一关b多道


首先,详细介绍了研究者提出的LSEGN模型的训练过程和参数。然后,经过训练的LSEGN和FCN模型对同一组多道次焊接图像进行了对比实验,验证了该模型的有效性和灵活性。最后,利用该研究提出的分段法提取了多道次焊缝的特征点。并对该方法进行了误差分析,验证了该方法的准确性和鲁棒性。


针对LSEGN模型的训练,研究者选择了1600幅原始焊接图像,由图像采集系统在剖面中采集到。


图为方法中的部分多道激光条纹数据集


图为LSEGN模型的训练损失


研究者将研究者提出的LSEGN模型与FCN方法在不同的焊接道次上进行了比较,证明了这种方法优于传统的焊缝识别方法。然后,分别采用经过训练的LSEGN模型和FCN模型处理焊缝激光条纹的焊接图像。四组焊缝识别结果在不同的焊接道次如图所示。


图为用FCN法对实验结果进行了比较。a第一关。b第二关。c第三关。d第四关


首先利用灰度质心法,在LSEGN模型识别出的第一遍图像后,得到(A)中激光条纹的中心线。然后,用最小二乘法对这四条线段进行拟合,得到(B)中的两条蓝线和两条黄线。最后,通过求解这两条蓝色线和两条黄线的交点,分别用一个蓝色交叉和一个黄色交叉得到左、右边界点。此外,代表下一个焊接位置的底点在(C)处标记绿色十字,即一条蓝线和一条黄线的交点。


图为第一遍的特征点提取结果。a中心线的激光条纹。b拟合图像。c在原始图像中显示的特征点


图为第四遍的特征点提取结果。a中心线的激光条纹。b拟合曲线c二阶导数d在原始图像中显示的特征点


图为在u轴和v轴上提取焊缝特征点的误差:a第一关,b第二关,c第三关,和d第四关


由此可以看出,U轴上的最大误差和最大均方根误差分别为4.7像素和1.78像素。此外,4.12像素和1.47像素分别是V轴上的最大误差和最大均方根误差。最后,详细列出了四种不同道次下一次焊接点在u轴和v轴上的最大误差和最大均方根误差。


图为图像序列处理过程中的时间消耗


众所周知,时间消耗是实时多通道机器人焊接的一个重要指标,需要有足够的时间进行机器人通信和姿态控制。因此,获得了包含上述400幅图像的多通图像序列的时间消耗,验证了该方法的实时性。如图所示。整个图像处理的平均和最大时间消耗分别为114.5 ms和118.3 ms,能够满足实际多道次机器人焊接的速度要求。


研究结论


研究提出了一种基于激光条纹边缘引导网络的多道次焊接重电弧噪声下焊缝自动识别和特征提取方法。该研究所做的工作如下:


(1)提出了基于改进VGGnet的LSEGN模型来识别重弧噪声下的激光条纹的完整形状。首先,在渐进激光条纹特征提取模块中采用渐进融合的方法提取完整的激光条纹特征。其次,在非局部激光条纹边缘特征提取模块中,结合局部边缘信息和全局位置信息获取激光条纹边缘特征。然后,研究者将相同的激光条纹边缘特征与不同分辨率下的完整激光条纹特征融合到一对一制导模块中。最后,利用多特征融合模块得到融合后的特征图像,无需任何预处理和后处理,可以使激光条纹边界更加准确和清晰。


(2)以提取特征点为目标,引入细化方法和拟合技术对LSEGN识别后的图像进行处理。利用灰度质心法得到激光条纹的中心线。然后,对于第一次扫描,利用最小二乘拟合方法求出表征特征点位置的激光中心线的交点;对于多道次,采用三阶非均匀有理b样条曲线,通过对曲线的二阶导数得到特征点的位置。


(3)实验和分析表明,与FCN方法相比,该研究提出的方法在识别不同焊缝通道时具有较好的有效性和灵活性。特征提取的最大误差和最大均方根误差分别为4.7像素和1.78像素,验证了该方法的准确性和鲁棒性。


对于研究者今后的工作,LSEGN模型将向轻量化方向进行改进,减少模型参数和计算量,加快实时图像处理速度,满足实际焊接需求。


参考文献:Kaixuan Wu, Tianqi Wang, Junjie He, Yang Liu & Zhenwei Jia Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network  The International Journal of Advanced Manufacturing Technology 2719–2731(2020)



最新评论(0)条评论
取消

还没有人评论哦,抢沙发吧~

相关新闻推荐