一种车辆外观缺陷检测方法、装置和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113570565A(43)申请公布日2021.10.29(21)申请号202110823954.2(22)申请日2021.07.21(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人陈莉李俊杰(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人吴婷(51)Int.Cl.G06T7/00(2017.01)G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书10页附图2页(54)发明名称一种车辆外观缺陷检测方法、装置和存储介质(57)摘要本申请涉及图像处理和深度学习技术领域，具体而言，涉及一种车辆外观缺陷检测方法、装置和计算机可读存储介质。本申请以一阶段网络为基础结构，采集缺陷样本与正常样本，通过数据增广与聚类方法，增加数据量并且总结数据特性；以自适应设计锚点与缩放尺寸让网络具有更好的鲁棒性；添加二次裁剪网络辅助检测；通过多尺度网络与多维特征融合保证对小缺陷的检测能力的同时保留大缺陷的检测能力；使用新型卷积模块，增加提取特征能力；使用新型池化模块，减少下采样的信息丢失；添加交并比损失函数指导网络训练。最终整体网络用于车辆外观缺陷检测，节省人力成本并且排除人为主观因素的干扰，具有效率高、准确率高、实用性强的优点。CN113570565ACN113570565A权利要求书1/3页1.一种车辆外观缺陷检测方法，其特征在于，包括：采集车辆外观缺陷图像和正常车辆外观图像，分别对采集图像进行数据标注，构建一个车辆外观数据集；对所述的车辆外观数据集进行数据预处理和数据集划分，采用数据增广和聚类方法，增加车辆外观数据集的数据量，并总结数据特性；构建一个车辆外观缺陷检测网络，采用预处理的参数和数据进行训练；选择检测方式，将待检测图像导入所述的训练好的车辆外观缺陷检测网络，输出缺陷区域与缺陷类型。2.根据权利要求1所述的车辆外观缺陷检测方法，其特征在于，所述的车辆外观数据集的构建，包括：采集待检测车辆的外观缺陷图像；在车辆外观缺陷图像上标注车辆外观缺陷的位置，得到缺陷标注框，该缺陷标注框中包括缺陷所在部位和缺陷，将缺陷标注框存储在一个车辆外观数据集中，车辆外观数据集中包含车辆外观缺陷图像和正常车辆外观图像、缺陷标注框内中心点坐标、标注框长宽以及标注框类别。3.根据权利要求1所述的车辆外观缺陷检测方法，其特征在于，所述的数据增广和聚类的方法，包括：对车辆外观数据集中的车辆外观缺陷图像和正常车辆外观图像进行随机旋转、缩放、亮度变化和模糊，得到增广变换后的车辆外观缺陷图像和正常车辆外观图像，将增广变换后的车辆外观缺陷图像和正常车辆外观图像添加到车辆外观数据集中；对所述的增广变换后的数据集进行处理，将面积小于整个图像面积1％的缺陷标注框，根据缺陷位置进行裁剪，并将裁剪后的缺陷随机多次粘贴到同一幅图像的其他不存在缺陷的背景区域，得到多个缺陷标注框，分别将多个缺陷标注框的中心点坐标、标注框长宽以及标注框类别存储到车辆外观数据集中；分别统计所述的车辆外观数据集中多个缺陷标注框的长宽与所属图像的长宽之间的比例；使用K‑Means方法，对多个长宽比例进行聚类，得到九个预选锚点框，将九个预选锚点框根据大小依次排序，将依次排序后的九个预选锚点框中的三个最小的框作为下采样8倍的特征图的锚点框，三个中等大小的框作为下采样16倍的特征图的锚点框，三个最大的框作为下采样32倍的特征图的锚点框，得到车辆外观数据集中数据的特性。4.根据权利要求1所述的车辆外观缺陷检测方法，其特征在于，所述的构建一个车辆外观缺陷检测网络，采用预处理的参数和数据进行训练，包括：构建一个车辆外观缺陷检测网络，包括沙漏网络、双向多尺度特征网络和三个跳跃连接卷积检测网络分支；将车辆外观数据集中的数据的10％作为测试集，90％作为训练集；使用车辆外观数据集中的训练集数据，对车辆外观缺陷检测网络进行训练。5.根据权利要求4所述的车辆外观缺陷检测方法，其特征在于，所述的对车辆外观缺陷检测网络进行训练，包括以下步骤：设定车辆外观缺陷检测网络的输入数据量，根据该输入数据量，确定训练过程中每批输入车辆外观缺陷检测网络中的图像的最大长度和最大宽度，在每张输入图像的各个方向2CN113570565A权利要求书2/3页填充黑色像素，使所有同一批输入图像的长宽一致；将所述的输入图像输入沙漏网络，沙漏网络输出得到与输入图像相对应的感兴趣区域图像，将感兴趣区域图像视为输入图像的热力图，设定热力图的阈值，根据设定阈值对输入图像进行裁剪，得到可能存在缺陷的图像；将所述的可能存在缺陷的图像输入双向多尺度特征网络