研究背景
在工业制造中，焊接是一种常见的连接金属部件的方法，而焊缝的质量直接影响到最终产品的安全性和可靠性。因此，能够准确地检测和识别焊缝中的缺陷对于确保产品性能和用户安全非常重要。传统的焊缝缺陷检测方法依赖于人工检查或者基于特征提取的技术，这些方法往往耗时且效率低下，而且可能受到人为因素的影响，导致检测结果不够准确。近年来，深度学习技术因其强大的特征学习能力和自动化处理流程，在图像识别领域取得了显著成就。特别是卷积神经网络（CNN），它能够从原始数据中自动学习有用的特征，从而提高分类的准确性和效率。尽管深度学习技术在理论上具有巨大潜力，但在实际应用中，获取高质量、大体积的数据集仍然是一个挑战。特别是在焊接缺陷检测领域，公开可用的、高质量的射线图像数据集相对较少，这限制了相关研究的发展。
基于此，本文提出了一种新的基于ResNet50架构的CNN模型，以解决现有方法在焊缝缺陷检测中存在的问题。用于在射线图像中分类四种焊缝缺陷：裂纹、气孔、未焊透和无缺陷。为了提高泛化能力和避免过拟合，采用了分层交叉验证、数据增强和正则化技术。该模型在三个数据集上进行了测试，分别是RIAWELC、GDXray和一个图像质量较低的私有数据集，分别获得了98.75%、90.255%和75.83%的准确率。研究不仅有助于提高焊缝缺陷检测的准确性，也为相关领域的进一步研究提供了有价值的参考。
研究分析
选定用于训练焊缝缺陷分类模型的射线图像数据库是RIAWELC 。该数据集包含24,407张尺寸为224 x 224像素的射线图像，分为四种焊缝缺陷类型：裂纹、气孔、未焊透和无缺陷，见图1。
图1 RIAWELC 数据集中缺陷类型的图像
作为测试集，从RIAWELC数据库中选取了400张新图像，并均匀分配到四个类别中进行分类。模型的泛化能力评估使用了两个图像数据集。首先，使用了GDXray数据集。该数据集包含焊接类别的68张图像，需要手动裁剪和标注，见图2。图像被调整为224x224x3像素，同时保留PNG格式的三个颜色通道。总共获得了100张图像，见表1。
图2 GDXray 数据集中缺陷类型的图像
表1 三个数据集中的焊缝缺陷对比：RIAWELC、GDXray 和自有数据集
此外，还使用了一个包含焊缝射线图像的自有数据集。这些图像构成了古巴西恩富戈斯缺陷检测和焊接技术服务公司（CENEX）的历史档案。这些图像是在超过10年的时间里收集并在非均匀条件下数字化的。与该数据集相关的难题包括对比度低、灰度分布不一致、噪声和光照不均匀，见图3。
图3 自有图像集中气孔缺陷和未穿透缺陷的样本图像
在构建所提出的CNN时，以ResNet50为基础模型，移除了最后一个分类层，并替换了四个新的全连接层。首先添加的是一个2D全局平均池化层，该层输入预训练的ResNet50网络最后一个卷积层的输出。接下来，使用一个包含512个神经元的密集层，激活函数为ReLU，用于降维并从图像中学习更抽象和复杂的特征。为了避免过拟合，在密集层之后应用了一个50%的Dropout层。Dropout在训练过程中随机“停用”神经元，有助于正则化模型并减少对特定特征的依赖，见图4。
图4 神经网络结构
除了上述架构修改外，输入图像在送入修改后的CNN之前还进行了预处理。图像预处理的目的是确保与ResNet50基础模型的兼容性并提高输入数据的质量。图像预处理涉及多个步骤，见图5。
图5 输入图像的预处理、特征提取和分类
一旦分类层被修改，之前的层就被冻结以避免改变网络已经学到的通用特征。这样，得到了一个具有1,051,140个可训练参数的基模型，总参数量为24,638,852。然后，使用从RIAWELC数据集中选择的图像对这些层进行重新训练和适应，以便使网络特征与射线图像中焊缝缺陷分类的研究相匹配。表2反映了为该模型拟合的超参数。
表2 模型训练阶段使用的超参数
表3展示了在RIAWELC图像数据集上训练、验证和测试阶段获得的结果。
表3 在RIAWELC数据集上模型训练、验证和测试阶段获得的指标值
图6显示了训练集和验证集的准确率曲线。
图6 该模型在训练和验证过程中的精度曲线
图7显示了模型在训练和验证阶段的损失行为。观察到训练集和验证集的损失值都逐渐下降。训练过程中的损失值达到0.145，而在验证集上达到0.169。两条曲线在第23个epoch时开始收敛，并在此之后没有显著下降。
图7 训练和验证过程中模型的损失行为曲线
归一化的混淆矩阵用于评估分类模型的性能。该矩阵表示实际类别与模型预测类别之间的关系。归一化的混淆矩阵显示了每个类别中模型正确和错误预测的频率，这些频率是通过该类别中实例的总数进行归一化的。为了分析模型在RIAWELC测试集上的性能，归一化的混淆矩阵如图8所示。
图8 用于评估模型在RIAWELC测试集上性能的归一化混淆矩阵
然而，评估模型在不同数据集上的性能对于确定其准确泛化和分类训练过程中未见过的焊缝射线图像的能力至关重要。表4展示了该CNN模型在不同测试集上的结果，包括RIAWELC、GDXray和我们的私有数据集。通过模型对这些样本的分析，可以验证其适应具有不同特性的图像的能力，并评估其泛化能力。
表4 在每个测试数据集上的模型性能
研究结论
本文提出了一种基于ResNet50架构的新CNN模型，用于分类射线图像中的四种焊缝缺陷（气孔、裂纹、未穿透和无缺陷）。为了防止网络过拟合并提高泛化能力，采用了正则化、分层交叉验证和数据增强技术。该模型在GDXray测试集上的测试准确率为90.25%，在RIAWELC数据集上的测试准确率为98.75%，在图像质量较低的私有数据集上的测试准确率为75.83%。模型通过适应不同的图像集展示了其泛化能力。实验证明，当使用RIAWELC数据集中高密度图像进行训练时，该神经网络可以用于分类不同类型焊缝射线图像中的缺陷。该网络还可以用于分类噪声较大和对比度较低的图像集中的焊缝缺陷。
鉴于这些结果，建议未来对模型进行调整以提高分类性能和整体准确率。这可能包括优化算法、扩展训练数据或探索替代方法来解决“裂纹”类的模式检测问题，并改善噪声较大和对比度较低图像的分类。因此，建议未来对模型进行调优以实现更好的分类和更高的准确率。应增加图像数据集的数量和多样性，以优化神经网络超参数的调优，尤其是在分类低对比度和噪声图像方面，以获得更准确的结果。
论文引用：
Dayana Palma-Ramírez、Bárbara D. Ross-Veitía、Pablo Font-Ariosa 、Alejandro Espinel-Hern´ andez、Angel Sanchez-Roca 、Hipólito Carvajal-Fals、José R. Nuñez-Alvarez、Hernán Hernandez-Herrera.Deep convolutional neural network for weld defect classification in radiographic images. Heliyon 10 (2024) e30590.
DOI:https://doi.org/10.1016/j.heliyon.2024.e30590
