真的细致入微,对铜片检测,一点微小的缺陷都能查出!

   自动化那些事        

表面质量的检测和控制对于电子制造非常重要。利用机器视觉技术对产品缺陷进行自动检测,已成为更好地进行质量控制不可或缺的手段。基于机器视觉的表面质量检测系统通常由图像采集和缺陷自动检测两个过程组成。


该研究提出了一种基于深度学习的铜包层板缺陷检测方法。在该方法中,设计了一种新的卷积神经网络(CNN),在保持高精度的前提下实现了快速的缺陷检测。本文以“A deep learning-based approach for the automated surface inspection of copper clad laminate images”为题于2020年9月19日发布于《Applied Intelligence》杂志上。


研究背景


传统的电子产品表面质量检测采用质检员手工检测的方法。但是这些人工方法存在采样率低、精度低、实时性差、效率低、劳动强度大的缺点,而基于机器视觉的自动表面检测方法可以很大程度上克服上述缺点。


目前,机器视觉技术的应用,即在机器或自动化生产线上增加视觉系统,已成为电子制造业不可缺少的质量控制技术手段。基于机器视觉的表面检测系统主要由图像采集和缺陷检测两个过程组成。图像采集模块由工业相机、光学镜头、光源及其夹持装置组成。图像采集模块的功能是采集目标产品的表面图像,缺陷检测过程是根据获取的图像,通过图像处理和分类技术对缺陷进行识别。


传统的机器视觉缺陷检测方法可以分为四类:统计方法、光谱方法、基于模型的方法和基于学习的方法。首先进行特征提取,然后进行缺陷识别。特征提取方法包括空间域的直方图、局部二值模式(LBP)、共现矩阵方法,以及变换域的傅立叶变换、小波变换、Gabor变换方法。提取特征后,利用SVM、k近邻[、随机森林等分类器进行缺陷识别。缺陷识别的性能在一定程度上取决于特征设计和提取的好坏。


因此,整体性能取决于人工设计的表现如何能够很好地建模缺陷的属性,而专业知识是这些方法成功的关键,这限制了它们的广泛应用。换句话说,性能很大程度上依赖于设计缺陷表现的工程师的知识、经验和判断。


近年来,深度学习在人脸识别、语音识别和自然语言处理方面取得了很好的效果。然而,这种方法很少应用于表面自动检测领域。其主要原因是:表面缺陷数据集通常太小,无法对深度学习网络进行训练;深度学习需要较高的计算能力;图像样本的采集和标注比较费力。尽管存在这些困难,但深度学习作为一种新兴的、有前途的技术,有潜力解决上述基于机器视觉的表面检测的挑战。


基于机器视觉的表面自动检测系统具有精度高、效率高、检测速度快、连续检测、非接触测量等优点。该方法主要由图像采集和缺陷检测两个过程组成。图像采集过程的功能是采集目标产品的表面图像,缺陷检测过程是通过图像处理和检测技术对缺陷进行识别。


图为机器视觉检测系统的体系结构


所述图像采集过程由光学系统和图像采集单元组成。光学系统由智能相机(通常是CCD和CMOS)、光学透镜和光源组成。光学系统生成输出到图像采集单元的图像,该图像采集单元将图像信号转换为可由计算机处理的数据文件。


图为CCL的常见表面缺陷


研究者提出了一种基于CNN的CCL自动表面检测方法.该方法的目的是在最小计算量和最高精度之间取得平衡,因为快速、高效的缺陷检测对于CCL自动表面检测的在线应用至关重要。


首先引入了深度可分卷积、挤压扩张机制和改进的挤压激励块,然后将它们结合起来,形成一个紧凑、高效的网络结构。该方法的目的是在较高的计算速度下达到较高的精度。


为了在最少的模型参数和计算中获得最高的精度,研究者在拟议的CNN中设计了两个被称为DethwiseFire和DethwiseResidude的积木块。这些构件如上图所示。


主要分为三个步骤:首先是挤压操作,然后是激励操作,最后是规模操作。


图为挤压励磁块(SE块)的结构


检测过程主要分为两部分:训练阶段和检测阶段。在训练阶段,首先进行图像采集、图像预处理和数据增强。然后,将图像输入到研究者提出的网络中进行迭代训练。在迭代过程中,对模型参数和结构进行调整,得到经过良好训练的模型,以满足CCL缺陷检测的高精度要求。在检测阶段,研究者收集待检测的目标图像,并将其输入经过良好训练的模型中,完成缺陷检测,得到检测结果。


实验是在Linux操作系统下,在配置了带有32G内存的TeslaV 100 GPU的服务器上进行的。通过调用Python语言的Keras深度学习库,实现了神经网络的构建、训练和测试。


数据增强是解决大规模数据集深度学习需求的有效方法.该方法能有效地增加可用数据集,减少过拟合,增强模型泛化能力,提高训练精度。


图为数据增强后的图像样本


具体地,对从某工业CCL生产线采集的12390个缺陷图像样本进行了调查,并对其进行了人工分类和标记为15类。这项工作费时费力,但在即将到来的实验中取得良好的图像分类结果是值得的,也是必要的。然后,采用翻转和降噪的数据增强方法对标记数据集进行扩展。


图为CCL数据集训练迭代过程中四个网络的精度


图为在训练和验证迭代过程中研究者提出的方法的收敛曲线


图为MobileNet-v2的混淆矩阵


图为盗梦空间-v3的混淆矩阵


图为ResNet-50的混淆矩阵


图为拟议网络的混淆矩阵


图为四种模型的计算量


图为特征图的可视化


综上所述,与基准网络相比,研究者提出的网络具有最高的精度和次优的计算速度。轻量级网络MobileNet比研究者提出的网络具有更低的计算成本。然而,它的准确性也低于研究者提出的网络。与Inception-v3和RESNET-50相比,研究者提出的网络具有更低的计算成本和更高的精度。


此外,研究者提出的网络实现了高精度和高检测速度之间的平衡。采用挤压膨胀结构和3×3深可分卷积,获得了较高的检测速度。挤压膨胀结构使输入通道数减少4倍,达到3×3深可分卷积,使计算参数显著减少。此外,3*3深度可分卷积的使用使计算量比标准卷积减少8~9倍。通过在网络中加入更多的剩余块,同时牺牲更少的效率,以及使用改进的压缩和激励块来提高网络性能,实现了网络的高精度。


研究结论


该研究主要研究了基于CCL机器视觉的表面缺陷检测过程中的深度学习技术。研究者提出了一种高效、准确的卷积神经网络来实现准确、快速的CCL缺陷检测。研究者提出的方法有四个贡献,首先,研究者引入深度可分离卷积来减少计算时间;其次,研究者改进了压缩激励块,以提高网络性能;第三,研究者引入了压缩扩展机制,以节省计算成本;第四,研究者使用一个更平滑的激活函数(Mish)来允许信息更好地流动。该网络与基准的CNNs(包括Inception, ResNet和MobileNet)进行了比较。


实验结果表明,研究者提出的高效网络在精度和速度上取得了良好的平衡,能够满足快速、准确的实时检测要求,因此被选择用于CCL在线缺陷检测。研究者未来的研究将集中在网络研究上,应用模型压缩技术,在保证精度的同时进一步提高计算效率。此外,研究者将拓展深度学习技术在基于机器视觉的表面检测领域的应用研究。


参考文献:Xiaoqing Zheng, Jie Chen, Hongcheng Wang, Song Zheng & Yaguang Kong A deep learning-based approach for the automated surface inspection of copper clad laminate images   Applied Intelligence (2020)



最新评论(0)条评论
取消

还没有人评论哦,抢沙发吧~

相关新闻推荐