基于无人机与深度学习的风机表面缺陷在线检测分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030050A(43)申请公布日2023.04.28(21)申请号202310300997.1G06V10/80(2022.01)(22)申请日2023.03.27G06V10/82(2022.01)G06N3/04(2023.01)(71)申请人浙江大学G06N3/08(2023.01)地址310030浙江省杭州市西湖区余杭塘G06V10/26(2022.01)路866号(72)发明人胡伟飞张亚轩方健豪吴荣根魏超刘振宇谭建荣(74)专利代理机构杭州浙科专利事务所(普通合伙)33213专利代理师杨小凡(51)Int.Cl.G06T7/00(2017.01)G06T7/11(2017.01)G06V10/52(2022.01)G06V10/764(2022.01)权利要求书2页说明书8页附图6页(54)发明名称基于无人机与深度学习的风机表面缺陷在线检测分割方法(57)摘要本发明公开了基于无人机与深度学习的风机表面缺陷在线检测分割方法，该方法引入深度学习神经网络图像检测与分割技术，将图像检测网络与图像分割网络融合，并对其网络结构进行进一步改进，得到的实时检测分割网络RDSS，从大量带有标签的风机表面图像样本中有监督地训练图像数据中的概率分布，提高网络提取图像中提取图像特征的能力，基于改进融合的检测与分割神经网络输出结构，对图像中的风机缺陷特征进行检测与分割多任务，同时利用无人机的图像回传功能，将实时画面作为网络输入，实现基于无人机与深度学习的风机表面缺陷在线检测分割任务。CN116030050ACN116030050A权利要求书1/2页1.基于深度学习的风机表面缺陷在线检测分割方法，其特征在于包括如下步骤：步骤S1：获取风机图像并对风机表面特征的区域进行类别标注；步骤S2：根据标注类别的风机表面特征区域向量数据，生成特征掩模图；步骤S3：基于风机表面特征区域，获取数字向量，作为实时检测分割网络的输入，基于特征掩模图及风机表面特征所属类别，获取标量，作为实时检测分割网络的分类标签，实时检测分割网络包括主干网络、颈部网络和预测网络，主干网络对输入的数字向量进行多次下采样，将图像局部特征与全局特征进行融合，整合上下文信息，得到多个整合阶段的输出；颈部网络基于多个整合阶段的输出，将多次下采样形成的不同尺度特征图，通过上采样进行多尺度特征融合；预测网络根据多尺度融合得到的特征图，分别进行风机表面缺陷的检测与分割，得到预测的目标缺陷位置、类别，以及特征分割结果，基于预测结果与所述分类标签，训练实时检测分割网络，并通过训练好的实时检测分割网络进行风机表面缺陷的检测与分割。2.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S1中，基于滑动窗口，在原始风机图像上截取包含风机缺陷特征的区域，得到截取的风机小图。3.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S2中，基于风机缺陷特征的轮廓，进行类型标注，得到轮廓顶点坐标及类别，同时根据顶点坐标和类别生成特征掩模图。4.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S2中，标注每个风机表面特征的轮廓作为其所在区域，且每个表面特征所属类别定义为数值。5.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3中，不同类别的风机表面特征对应不同的像素值，将像素值构成的矩阵作为数字向量。6.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3中，颈部网络利用多次特征金字塔网络上采样和路径聚合网络下采样，将高层特征信息通过上采样的方式与底层定位信息进行融合，并输入到改进的预测网络中。7.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3中，在颈部网络的各尺度特征融合时，加入一组基于移位窗口的转换模块，用于捕获图像特征的全局信息和上下文信息，基于移位窗口的转换模块包括一组依次连接的移位窗口转换块，每个移位窗口转换块包括窗口化的多头自注意力子层和全连接子层，全连接层采用多层感知机，各子层之间采用残差连接；上一移位窗口转换块的输出，依次经当前移位窗口转换块的层标准化操作、多头自注意力子层后，再将多头自注意力子层的输出与层标准化操作的输出相加，相加结果，再依次经另一层标准化操作、多层感知机后，将多层感知机的输出与另一层标准化操作的输出相加，作为下一移位窗口转换块的输入。8.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3的预测网络中，分割预测基于多尺度融合得到的特征图，构建空间特征金字塔及其对