基于深度学习的铁路货车关键零部件故障图像检测算法研究
(北京交通大学轨道交通智能检测技术研究所, 北京 100091)
摘要: , 铁路货车零部件故障是造成货车事故的主要原因之一, 当前列检工作多采用“人眼识图”判断零部件故障, 无法实现故障自动识别。针对关键零部件故障自动识别的问题, 根据“先定位, 后识别”的思路提出基于深度学习和图像处理技术结合的图像检测算法。首先, 构建零部件检测数据集和零部件故障识别数据集。其次, 融合小目标检测层、卷积注意力模块, 提出改进的Small-Target-Detect-Layer and CBAM YOLOv5s (SC-YOLOv5s) , 实现多尺度关键零部件的定位、分类、裁剪。最后, 提出基于目标检测结果与先验知识的算法直接判断丢失类型故障, 改进的Mobile-NetV3分类算法实现滚动轴承甩油、锁紧板松动、摇枕弹簧断裂三种故障的自动识别, 以及图像处理方法实现交叉杆弯曲、滚动轴承前盖破损两种故障的自动识别。结果表明, SC-YOLOv5s算法的mAP@0. 5和mAP@0. 5: 0. 95分别可达99. 3%、74. 9%, 检测速度可达36. 09FPS; 改进的MobileNetV3算法对轴承甩油、锁紧板松动、摇枕弹簧断裂的识别准确率分别可达98. 63%、99. 34%、90. 21%; 图像处理法对交叉杆弯曲、滚动轴承前盖破损识别准确率分别可达95. 32%、82. 88%。
DOI: 10.48014/fcmet.20231109001
引用格式: 赖陟斌, 史红梅. 基于深度学习的铁路货车关键零部件故障图像检测算法研究[J]. 中国机械工程技术学报, 2024, 3(1): 11-22.
文章类型: 研究性论文
收稿日期: 2023-11-09
接收日期: 2023-11-28
出版日期: 2024-03-28
0 引言
随着我国重载铁路的发展，为保障铁路货车运行安全，在铁路沿线布置了多套货车运行故障动态图像检测系统(Trouble of moving freight car detection system，TFDS)采集货车零部件图像，对图像进行智能分析实现货车关键零部件故障检测。TFDS是一套集成计算机技术、图像采集技术、通信技术、模式识别技术的智能检测系统，同时也是铁路运输安全防范的“5T”系统之一[1,2]。然而，目前绝大多数TFDS仍然采用“人眼识图”的判断方式在车辆运行过程中对零部件进行故障检测，该方法需要耗费大量的人力物力、工作效率低且误报、漏报现象时有出现[3,4]。因此，TFDS迫切需要一种可以在降低列检工作人员工作量的同时提高TFDS工作效率和工作质量的智能化检测方法。
近年来，随着人工智能技术在零部件故障检测领域的发展，许多大学和研究机构的学者通过深度学习算法和图像处理技术来实现铁路货车关键零部件的定位、分类、故障检测等功能，并且取得了显著的成果。费垚东等[5]提出一种基于图像处理的螺栓故障自动识别算法，该方法先使用模板匹配技术和改进的自适应LTP算子提取螺栓子图的特征直方图，并利用支持向量机识别螺栓故障，但该方法用于其他零部件时需要重新设计模板图像。雷蕾等[6]提出一种基于Hough变换、Canny边缘检测和形状模板相结合的锁紧板偏转故障检测算法，可以实现锁紧板偏转角度>5°的检测，但受图像内噪声边缘干扰该方法对图像质量要求极高、可靠性较差。此外，由于交叉杆边缘正常状态下为直线，其斜率为一个固定常数，而如果出现弯曲则斜率发生变化产生夹角[7]。北京航空航天大学团队[8]首次将深度学习算法引入TFDS故障自动识别中，提出一种基于卷积神经网络的TFDS多故障自动识别系统(Automatic fault recognition system，AFRS)，但它只对两种典型故障进行识别，且算法步骤繁琐，通用性和实时性目前无法得到保证。李萍等[9]提出一种基于深度学习的列车关键零部件图像故障视觉检测算法，先利用区域建议网络(RPN网络)生成感兴趣区域，再利用多尺度的故障检测网络实现零部件的定位和检测，但该算法只进行定位未进行进一步的故障检测。王苗等[10]提出一种基于YOLOv4的锁紧板松动故障检测算法，但由于将定位和故障识别集成在同一网络结构内导致识别准确率无法满足实际工程应用。符潇等[11]结合目标检测算法Faster-RCNN和注意力分割网络APP-UNet16的提出一种多阶段的轴承甩油故障检测方法，该方法检测精度较高但计算量较大无法满足实时需求。目前已有的研究方法中无法在检测准确性、实时性、通用性、多样性等方面实现较好的平衡。
为进一步提高检测准确性、实时性等多方面性能，本文采用基于深度学习的目标检测算法、分类算法和传统图像处理技术相结合的方式提出了一种“先定位，后识别”的多阶段故障自动识别方法，实现多种关键零部件的故障自动识别。首先，本文构建了铁路场景中的零部件数据集。其次，设计了可以实现多尺度零部件定位和检测的SC-YOLOv5s算法，并根据待测零部件的故障特征和数据集规模分别设计了改进的MobileNetV3分类算法、传统图像处理技术法实现不同待测关键零部件，提高了列检工作的效率和质量，可以投入实际工程应用。
1 零部件故障自动识别算法整体方案
本文提出的基于深度学习和图像处理技术的关键零部件故障自动识别算法由三个部分组成:数据集构建模块、目标检测模块、故障识别分类模块，整体流程如图1所示。
图1 整体流程图
Fig.1 Overall flowchart
首先，构建零部件检测数据集和零部件故障识别数据集。通过TFDS系统采集C80型重载货车的图像并进行手工标注的方式构建含10572张训练图像、1068张测试图像的零部件检测数据集应用于目标检测模块的训练和测试，并且数据集内图像覆盖了晴天、阴天、雨雾、雪天等不同的天气条件和光照环境;采集各关键零部件故障图像并进行数据增强构建零部件故障识别数据集应用于故障识别分类模块训练和测试，数据集详情如表1所示。
表1 零部件故障识别数据集样本数量表
Table 1 Sample size table for component fault identification dataset
|
编号 |
图像类别 |
数量/张 |
|
1 |
滚动轴承甩油 |
15616 |
|
2 |
滚动轴承无故障 |
15616 |
|
3 |
锁紧板松动 |
13673 |
|
4 |
锁紧板无故障 |
13673 |
|
5 |
摇枕弹簧断裂 |
11070 |
|
6 |
摇枕弹簧无故障 |
11070 |
|
7 |
交叉杆弯曲 |
72 |
|
8 |
交叉杆无故障 |
16416 |
|
9 |
滚动轴承前盖破损 |
41 |
|
10 |
滚动轴承前盖无故障 |
1057 |
利用数据集训练算法模型，在实际使用中将待测图像输入SC-YOLOv5s目标检测模块实现待测零部件的定位、分类和裁剪，得到滚动轴承、锁紧板、挡键、滚动轴承螺栓、摇枕弹簧、交叉杆6种待测零部件的子图像。其中，比较目标检测结果与先验知识可直接判断滚动轴承螺栓、挡键、摇枕弹簧是否丢失。然后，将各待测零部件子图像输入故障识别分类模块进一步判断是否发生故障，该模块根据零部件故障特征和数据集规模分别设计了基于改进MobileNetV3的识别网络和基于传统图像处理技术的识别方法。最后，融合各待测零部件的状态输出该输入图像的最终检测结果。
2 关键零部件检测算法设计
2.1 SC-YOLOv5s算法设计
YOLO是目标检测领域经典的One-stage算法[12]，其中YOLOv5s在精确度和速度两方面均具有较好的优势。在铁路场景中，由于TFDS采集图像质量较差、背景较暗等原因，并且存在如滚动轴承螺栓等小尺寸零部件，原始YOLOv5s容易出现误检、漏检等现象，如图2所示，三个滚动轴承螺栓漏检一个，锁紧板误检为滚动轴承。
图2 原始YOLOv5s漏检、误检现象
Fig.2 Phenomenon of original YOLOv5s leakage and false detection
为提高算法对小目标的检测能力和特征提取能力，本文通过增加小目标检测层和卷积注意力模块的方法(Convolutional Block Attention Module，CBAM)提出了改进的Small-Target-Detect-Layer and CBAM YOLOv5s(SC-YOLOv5s)。
2.1.1 小目标检测层
增加小目标检测层结构如图3所示，增加层的特征图为特征提取网络第二次下采样的输出特征图，该特征图保留了更丰富的小目标特征信息，解决原始YOLOv5s由于下采样倍数过多导致的小目标特征消失问题。增加的小目标检测层融合4种不同尺度大小的特征图，进一步提高了低层语义信息和高层位置信息充分融合的能力，以此提高对小目标的检测能力。
图3 增加小目标检测层结构
Fig.3 Structure of the added small target detection layer
2.1.2 CBAM模块
CBAM模块是一种典型的轻量级注意力机制模块，其结构如图4所示，由通道注意力模块和空间注意力模块串联组成，在通道维度和空间维度上自适应提取重要特征信息。
图4 CBAM 模块结构图
Fig.4 Structure of CBAM model
其中通道注意力模块动态选择，加强对输入特征图内部包含重要信息通道的学习，对包含无关信息通道进行抑制，输出一维通道注意力特征后与原输入特征图相乘达到自适应修正目的;空间注意力模块则进一步加强网络模型在空间维度上加强对包含重要信息位置的学习，对包含无关信息的位置进行抑制。
SC-YOLOv5s网络结构如图5所示，为提高网络模型的特征提取能力，将CBAM模块与原始基本组件CBL模块串联组成ConvCBAM模块，该模块可以在一次特征提取之后进行二次关键特征提取。
2.2 零部件检测算法实验结果与分析
本文在Windows平台和Pytorch框架下实现训练和测试，GPU选用显存大小为6GB的NVIDIA GeForce GTX1060，batch_size设置为16。此外，在检测阶段，将待测图像输入“异物检测系统”，将无异物图像输入本文检测算法，且SC-YOLOv5s算法会对输入图像进行去噪、提升对比图等预处理以提高其成像质量。为进一步验证小目标检测层和CBAM模块对算法检测能力的提升，本文进行了对比实验和消融实验，实验结果如表2所示。
图5 SC-YOLOv5s网络结构图
Fig.5 Structure of the SC-YOLOv5s network
表2 改进前后YOLOv5s算法性能结果对比
Table 2 Comparison of performance results of YOLOv5s algorithm before and after improvement
|
网络 模型 |
小目标 检测层 |
CBAM |
mAP @0.5 |
mAP @0.5:0.95 |
FPS |
|
YOLOV5S |
|
|
97.2% |
63.6% |
49.25 |
|
SC-YOLOV5S |
√ |
|
98.8% |
72.9% |
42.60 |
|
|
|
√ |
98.7% |
72.2% |
47.84 |
|
|
√ |
√ |
99.3% |
75.2% |
36.09 |
从实验结果中可见小目标检测层与CBAM模块的添加均能提高模型的检测能力，改进后的SC-YOLOv5s的mAP@0.5与mAP@0.5:0.95比原始YOLOv5s分别提高了2.1%和11.3%。为进一步验证SC-YOLOv5s对小目标检测能力的提升，本文统计了改进前后算法对各待测零部件的结果，如表3所示。
表3 改进前后算法对各待测目标AP对比
Table 3 Comparison of the AP of the algorithm before and after improvement for each target to be measured
|
待测零部件类别 |
YOLOv5s |
SC-YOLOv5s |
|
滚动轴承 |
98.9% |
98.9% |
|
挡键 |
92.1% |
99.6% |
|
锁紧板 |
99.9% |
99.0% |
|
摇枕弹簧 |
99.7% |
99.5% |
|
交叉杆 |
99.6% |
99.4% |
|
滚动轴承螺栓 |
93.0% |
99.6% |
其中滚动轴承螺栓和挡键的AP值分别提高了7.5%和6.6%，同时保持了大尺寸零部件的检测准确率，并且准确裁剪出各待测零部件的子图像，可见改进后的SC-YOLOv5s算法有效提升了多尺度目标的检测能力。此外，比较零部件检测算法结果与先验知识理论数量，在测试集中准确识别出1处滚动轴承螺栓漏检、11处挡键漏检，且误检率为0，可以准确实现丢失类型故障识别。
3 关键零部件故障类型分析
对比零部件检测算法裁剪所得各零部件子图像，如图6所示，滚动轴承甩油故障特征表现为四周出现颜色较暗的油渍、锁紧板松动出现明显旋转、摇枕弹簧断裂其上端表现出明显断痕，且这三类故障类型数据集充足，适合卷积神经网络自动提取和学习故障特征实现故障判断。
对于故障特征不适用于卷积神经网络自主提取和学习并且数据集规模较小的故障类型，本文选用基于图像处理技术的识别算法手动提取故障特征进行故障判断。如图7所示，滚动轴承前盖红色圆环内为故障区域，可见破损部位颜色泛白、亮度较高;交叉杆弯曲故障时表现为直线与曲线相连而非完整的直线。
4 改进MobileNetV3故障识别算法
4.1 改进MobileNetV3算法设计
以肃宁北站为例平均过车时间为14分钟、最短过车时间仅为6分钟，单趟列车最多采集15000张图像需进行故障判别，且单张图像将产生多张待判断子图像，因此识别算法对实时性要求较高。MobileNetV3[16]是轻量型的卷积神经网络，具有检测速度较快的特点，很好地平衡了准确性和实时性的需求。由于轻量化的设置导致MobileNetV3与传统大型卷积神经网络相比识别准确率略有下降，为进一步提高其识别准确率，本文对其基本单元、连接结构、分类器进行优化提出了改进的MobileNetV3算法。
原始MobileNetV3基本单元保留MobileNetV2中的深度可分离卷积和倒残差连接结构[17]，并借鉴SENet的思想集成了SE自注意力机制模块，但该模块只关注了通道维度的重要性，忽略了空间维度位置信息的重要性。因此，与SC-YOLOV5s相同利用兼顾通道维度和空间维度特征重要性的CBAM模块代替SE模块，提高网络模型对故障特征的提取能力。
图6 甩油、锁紧板故障、摇枕弹簧断裂
Fig.6 Oil dumping，locking plate failure，broken rocker spring
图7 滚动轴承前盖破损与交叉杆弯曲
Fig.7 Schematic diagram of a broken rolling bearing front cover with a bent cross bar
倒残差连接结构可以加深网络模型，同时避免网络退化等现象，但其仅适用于基本单元输入和输出特征图维度大小完全一致的情况。为提高倒残差连接方式的适用性，本文针对性地提出了另外三种改进的连接结构，保证基本单元输入和输出特征图大小一致，三种连接结构如图8所示。Residual connection_1为原始倒残差连接结构;Residual connection_2在连接通道使用平均池化层和PointWise卷积(PW卷积)压缩输入特征图空间维度大小、扩充通道数目;Residual connection_3则单独利用PW卷积扩充通道数目;Residual connection_4单独利用平均池化层压缩空间维度大小。
图8 倒残差连接结构
Fig.8 Structure of the inverted residual link
图9 分类器结构图
Fig.9 Structure of the classifier
此外，原始MobileNetV3的分类器是针对ImageNet数据集进行设计，该数据集中存在1000个不同类别物体，因此要求分类器复杂度较高从而导致计算量较大。本文故障识别算法仅需针对各类零部二分类识别是否故障，因此简化分类器可以在保证识别准确率的同时提高检测速度，弥补改进基本单元和倒残差连接结构带来的额外计算量，简化前后分类器结构如图9所示。简化分类器去除原分类器繁琐的升维操作，仅通过一个平均池化层和一个全连接层串联将特征向量映射为分类标签。
最终，改进MobileNetV3结构如图10所示，其由11个基本单元通过四种不同残差连接结构以及简化分类器串联组成。
4.2 改进MobileNetV3s实验结果分析
故障识别算法实验平台与零部件检测算法一致，其中batch_size设置为64。为验证改进MobileNetV3的综合性能，将其与原始MobileNetV3和传统经典大型卷积神经网络VGG16进行对比实验，实验结果如表4所示。
图10 改进MobileNetV3网络结构
Fig.10 Structure of the improved MobileNetV3 network
表4 改进MobileNetV3算法实验结果
Table 4 Experimental results of the improved MobileNetV3 algorithm
|
网络模型 |
故障类型 |
准确率 |
FPS |
|
VGG16 |
滚动轴承甩油 |
97.65% |
48.8 |
|
|
锁紧板松动 |
99.83% |
|
|
|
摇枕弹簧断裂 |
93.19% |
|
|
MOBILENETV3 |
滚动轴承甩油 |
98.94% |
87.7 |
|
|
锁紧板松动 |
99.15% |
|
|
|
摇枕弹簧断裂 |
82.71% |
|
|
改进MOBILENETV3 |
滚动轴承甩油 |
98.63% |
57.1 |
|
|
锁紧板松动 |
99.34% |
|
|
|
摇枕弹簧断裂 |
90.21% |
|
对于滚动轴承甩油、锁紧板松动而言，改进前后MobileNetV3识别准确率差距较小，但对于摇枕弹簧断裂而言，改进后的MobileNetV3识别准确率提高7.50%，且其识别速度比VGG16高8.3FPS。可见，改进后的MobileNetV3提高了关键零部件故障识别的准确率和速度之间的平衡。
5 基于图像处理技术的故障识别算法
5.1 滚动轴承前盖破损故障识别算法设计
滚动轴承前盖破损故障识别只需关注故障易发区域，识别算法流程如图11所示。首先，实现易发区域定位，其次对该区域进行二值化处理，最后统计白色像素个数判断是否发生破损故障。
图11 滚动轴承前盖破损故障识别流程
Fig.11 Recognition process for rolling bearing front cover breakage faults
在圆环区域定位阶段，利用三个滚动轴承螺栓组成三角形并确定其外接圆圆心，如图12所示，外接圆圆心O即为关圆环区域圆心。通过多次实验设置圆环内圆半径为67像素，外圆半径为92像素。
其次，选用全局阈值法对圆环区域进行二值化处理，最后遍历图像统计白色像素个数，若大于50则判定为破损故障。
本文采用上述算法对测试集共1098张图像进行检测，检测结果如表5所示。
图12 圆环区域圆心示意图
Fig.12 Schematic diagram of the center of the circular area
表5 滚动轴承前盖破损故障实验结果
Table 5 Experimental results of rolling bearing front cover breakage faults
|
图片类型 |
无故障/张 |
破损故障/张 |
|
预测无故障/张 |
831 |
17 |
|
预测破损故障/张 |
171 |
79 |
滚动轴承前盖破损故障识别准确率可达82.88%，误报率为17.07%，漏报率为17.71%，单张滚动轴承图片检测时间为109ms，检测速度为9.1FPS。
5.2 交叉杆弯曲故障识别算法设计
交叉杆发生弯曲时其轮廓最长直线段的长度与无弯曲故障相比较短，且弯曲故障多发于中间区段，因此通过提取并检测交叉杆边缘最长直线段长度是否大于指定阈值，即可判断其是否发生弯曲故障。交叉杆弯曲故障识别算法流程如图13所示。
首先，为更好提出交叉杆边缘，对输入图像进行直方图均衡化增强交叉杆与背景对比度，突出交叉杆直线边缘;其次，利用Canny边缘检测法剔除干扰线段并提高对交叉杆感兴趣区域的边缘信息的关注;最后，利用Hough直线检测法提取交叉杆边缘最长直线。当提取最长直线长度小于输入图像高度2/3时则判定为弯曲故障，正常交叉杆与弯曲交叉杆直线检测如图14所示。
图13 交叉杆弯曲故障识别流程
Fig.13 Recognition process for crossbar bend failure
图14 交叉杆直线检测结果
Fig.14 Detection results of crossbar straight lines
本文采用该方法对测试集中共16449张图片进行测试，检测结果如表6所示。
表6 交叉杆弯曲故障实验结果
Table 6 Experimental results for crossbar bending faults
|
图片类型 |
无故障/张 |
弯曲故障/张 |
|
预测无故障/张 |
15647 |
0 |
|
预测弯曲故障/张 |
769 |
33 |
交叉杆弯曲故障识别准确率为95.32%，误报率为4.69%，漏报率为0%，单张交叉杆图像检测时间为47.7ms，检测速度为21.28FPS。
6 结论
(1)本文设计零部件故障自动识别算法整体方案，采集并标注TFDS图像，构建零部件检测数据集和零部件故障识别数据集。
(2)融合小目标检测层和CBAM模块设计基于SC-YOLOv5s的目标检测模块。结果表明，改进的SC-YOLOv5s算法提高了对多尺度关键零部件的检测能力，针对性地解决了滚动轴承螺栓、挡键这类中小目标的漏检问题，直接实现丢失类型故障识别，且检测速度满足实际应用需求。
(3)在实际应用中，需根据各零部件的故障特征及对应的数据集规模确定各零部件故障识别算法。改进MobileNetV3算法在故障识别准确率和检测速度之间取得较好的平衡，实现锁紧板松动、滚动轴承甩油、摇枕弹簧断裂三种故障的自动识别;利用目标检测结果、先验知识和二值化实现滚动轴承前盖破损故障识别;利用直方图均衡、Canny边缘检测和Hough直线检测提取交叉杆边缘最长直线实现弯曲故障识别。算法实现对常见关键零部件的故障识别，可以满足实际工程应用。
本文设计的铁路货车关键零部件故障图像检测算法基本满足列检工作实际应用需求，但在未来的研究中仍需进一步提升。目前只针对列检工作中所列的几类关键零部件故障进行识别，可进一步提高算法通用性使其覆盖所有可能发生故障的零部件的检测识别，并且在保证算法精度的同时进一步提高检测速度，提高列检工作安全性和效率。
利益冲突: 作者声明无利益冲突。
[②] *通讯作者 Corresponding author:史红梅，hmshi@bjtu.edu.cn
收稿日期:2023-11-09; 录用日期:2023-11-28; 发表日期:2024-03-28
参考文献(References)
[1] 丁彦彬. 浅谈TFDS在货车运行安全管理中的应用[J]. 减速顶与调速技术, 2019(02): 23-25.
https://doi.org/10.3969/j.issn.1674-2427.2019.02.008
[2] 曾广胜, 麦强. 提升TFDS发现故障功能的思考[J]. 铁道运营技术, 2020, 26(01): 35-38.
https://doi.org/10.13572/j.cnki.tdyy.2020.01.011
[3] 赵峰. 货车TFDS图像自动识别系统分析[J]. 智慧轨道交通, 2022, 59(05): 49-52.
https://doi.org/10.3969/j.issn.2097-0366.2022.05.011
[4] 李江昆. TFDS车辆故障自动识别系统研究及应用[J]. 铁道车辆, 2021, 59(05): 125-127.
https://doi.org/10.3969/j.issn.1002-7602.2021.05.033
[5] 费垚东, 李柏林, 范宏. TFDS中螺栓故障的自动识别算法研究[J]. 机械设计与制造, 2021(10): 5.
https://doi.org/10.3969/j.issn.1001-3997.2021.10.021
[6] 雷蕾, 宋冬利, 张卫华, 等. 基于HCRD 的列车锁紧板偏转自动识别方法[J]. 铁道科学与工程学报, 2021, 18(07): 1895-1902.
https://doi.org/10.19713/j.cnki.43-1423/u.T20200854
[7] 孙明. 基于图像处理的货车转向架故障检测[D]. 石家庄: 石家庄铁道大学, 2018.
[8] Sun J, Xiao Z, Xie Y. Automatic multi-fault recognition in TFDS based on convolutional neural network[J]. Neurocomputing, 2017, 222: 127-136.
https://doi.org/10.1016/j.neucom.2016.10.018
[9] 李萍, 吴斌方, 刘默耘. 基于深度学习的铁路列车关键零部件图像故障检测[J]. 铁道科学与工程学报, 2019, 16(12): 3119-3125.
https://doi.org/10.19713/j.cnki.43-1423/u.2019.12.027
[10] 王苗, 张龙信. 基于YOLOv4的列车锁紧板图像故障检测[J]. 现代信息科技, 2021, 5(20): 42-43, 49.
https://doi.org/10.19850/j.cnki.2096-4706.2021.20.012
[11] 符潇. 基于U-Net的多阶段注意力感知列车图像识别与故障检测方法[D]. 长沙: 湖南大学, 2021.
https://doi.org/10.27135/d.cnki.ghudu.2020.001012
[12] Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified, Real-Time Object Detection [C]. //2016 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Las Vegas, NV, USA: 2016: 779-788.
[13] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]. //2017 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Honolulu, HI, USA: 2017: 6517-6525.
[14] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[ J]. arXiv preprint arXiv: 1804. 02767, 2018.
[15] Bochkovskiy A, Wang C Y, Liao H. YOLOv4: Optimal Speed and Accuracy of Object Detection[J]. arXiv preprint arXiv: 2004. 10934, 2020.
[16] Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3[ C]. //2019 IEEE/CVF International Conference on Computer Vision(ICCV). Seoul, South Ko- rea: IEEE, 2019: 1314-1324.
https://doi.org/10.1109/iccv.2019.00140
[17] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]. //2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018: 4510-4520.
https://doi.org/10.1109/cvpr.2018.00474
Research on Image Detection Algorithm for Failure of Key Parts of Railway Freight Wagon Based on Deep Learning
(Institute of Intelligent Detection Technology of Rail Transit, Beijing Jiaotong University, Beijing 100091, China)
Abstract: The parts failure of railway freight wagon is one of the main causes of wagon accidents. Currently, train inspection work mostly uses "human eye recognition" to determine the part failures, which cannot realize the automatic fault identification. For the problem of automatic identification of key parts failure, an image detection algorithm based on is proposed based on the combination of deep learning and image processing technology according to the idea of "first locate, then identify". First, the parts detection data set and parts fault identification data set are constructed. Then, the Small-Target-Detect-Layer and CBAM YOLOv5s (SC-YOLOv5s) are integrated with the small target detection layer and Convolutional Block Attention Module to realize the localization, classification and cropping of multi-scale key parts. Finally, an algorithm based on object detection results and prior knowledge is proposed to directly determine the type of loss fault, and the improved MobileNetV3 classification algorithm is proposed to realize the automatic identification of three kinds of faults: oil dumping of rolling bearing, loosening of locking plate, and breakage of rocking pillow spring, as well as the image processing method to realize the automatic identification of two kinds of faults: bending of crossover rod and breakage of front cover of rolling bearing. The results show that SC-YOLOv5s mAP@0. 5 and mAP@0. 5: 0. 95 can reach 99. 3% and 74. 9% and the detection speed can reach 36. 09 FPS; the improved MobileNetV3 algorithm can reach 98. 63%, 99. 34%, and 90. 21% of the recognition accuracy of bearing oil dumping, locking plate loosening, and rocking pillow spring breakage; the recognition accuracy of the image processing method for crossbar bending and rolling bearing front cover breakage can reach 95. 32% and 82. 88%, respectively.
Keywords: Railway freight wagon, failure detection, target detection
DOI: 10.48014/fcmet.20231109001
Citation: LAI Zhibin, SHI Hongmei. Research on image detection algorithm for failure of key parts of railway freight wagon based on deep learning[J]. Frontiers of Chinese Mechanical Engineering and Technology, 2024, 3(1): 11-22.