基于神经网络的风机叶片缺陷检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113610749A(43)申请公布日2021.11.05(21)申请号202110430263.6G01N21/88(2006.01)(22)申请日2021.04.21(71)申请人北京智慧空间科技有限责任公司地址100015北京市朝阳区酒仙桥东路9号院1号楼102（电子城科技园集中办公区122号）(72)发明人庞涛马征白颖伟毛辉张晓帆贾海梅(74)专利代理机构北京博讯知识产权代理事务所(特殊普通合伙)11593代理人宣海燕(51)Int.Cl.G06T7/00(2017.01)G06T7/73(2017.01)G06K9/62(2006.01)权利要求书2页说明书9页附图2页(54)发明名称基于神经网络的风机叶片缺陷检测方法(57)摘要本发明提供了一种基于神经网络的风机叶片缺陷检测方法，包括：控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行，并在绕飞过程中对叶片进行拍照，得到多个待检测图像；将待检测图像输入预先训练的目标叶片缺陷检测模型，输出待检测图像的缺陷检测信息，缺陷信息包括缺陷在待检测图像中的位置以及缺陷的类别；目标叶片缺陷检测模型经由如下步骤训练得到：获取样本图像集合，将样本图像中缺陷的位置和类别作为样本标签，标记样本图像；将标记后的样本图像输入预先构建的初始叶片缺陷检测模型，将标记后的样本图像的样本标签作为期望输出，训练得到目标叶片缺陷检测模型。该方法能够提高训练出的目标叶片缺陷检测模型的精度，降低缺陷漏判率和误判率。CN113610749ACN113610749A权利要求书1/2页1.一种基于神经网络的风机叶片缺陷检测方法，其特征在于，所述方法包括如下步骤：S10、控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行，并在绕飞过程中在多个第一预定拍照位置对叶片进行拍照，得到多个待检测图像；S20、将所述待检测图像输入预先训练的目标叶片缺陷检测模型，输出所述待检测图像的缺陷检测信息，所述缺陷检测信息包括缺陷在所述待检测图像中的位置以及所述缺陷的类别；其中，所述目标叶片缺陷检测模型经由如下步骤训练得到：S100、获取样本图像集合，所述样本图像集合中的各样本图像由无人机以第二轨迹绕处于检修状态的样本风机的各个叶片的轴线飞行时在多个第二预定拍照位置拍照得到；S200、识别所述样本图像集合中有叶片缺陷的样本图像，将所述样本图像中缺陷的位置和类别作为样本标签，标记所述样本图像；S300、将标记后的样本图像输入预先构建的初始叶片缺陷检测模型，将标记后的样本图像的样本标签作为期望输出，训练所述初始叶片缺陷检测模型，得到所述目标叶片缺陷检测模型。2.根据权利要求1所述的方法，其特征在于，按照叶片的延伸方向，将所述待检测风机的各个叶片划分为多个待检测叶片段，所述第一轨迹包括第一预设数量个第一子轨迹，所述第一子轨迹与所述待检测叶片段一一对应，所述第一子轨迹表征所述无人机在相应的待检测叶片段内绕该待检测叶片段的轴线飞行；按照叶片的延伸方向，将所述样本风机的各个叶片划分为多个样本叶片段，所述第二轨迹包括第二预设数量个第二子轨迹，所述第二子轨迹与所述样本叶片段一一对应，所述第二子轨迹表征所述无人机在相应的样本叶片段内绕该样本叶片段的轴线飞行。3.根据权利要求2所述的方法，其特征在于，每个所述第二子轨迹均具有多个周向位置，每个周向位置包括多个不同径向的第二预定拍照位置。4.根据权利要求1所述的方法，其特征在于，所述第一轨迹至少与所述第二轨迹的部分轨迹相同。5.根据权利要求1所述的方法，其特征在于，所述方法还包括步骤：S30、基于所述缺陷在所述待检测图像中的位置，确定所述缺陷在所述待检测风机的实际位置。6.根据权利要求5所述的方法，其特征在于，所述方法还包括步骤：S40、基于所述缺陷在所述待检测风机的实际位置以及所述缺陷的类别生成缺陷描述。7.根据权利要求5所述的方法，其特征在于，所述步骤S30具体为：S31、采集所述待检测图像的相机内参和相机外参；S32、根据所述相机内参、相机外参、缺陷在待检测图像中的位置确定缺陷在世界坐标系下的位置；S33、根据缺陷在世界坐标系下的位置以及风机在世界坐标系下的位置，确定出缺陷在待检测风机中的实际位置。8.根据权利要求1至7任一项所述的方法，其特征在于，所述步骤S20具体包括：采用特征提取网络提取所述待检测图像的特征，生成特征图；将所述特征图输入预测网络，输出预测向量；2CN113610749A权利要求书2/2页根据所述预测向量确定所述特征图中缺陷的位置和缺陷的类别。9.根据权利要求1至8任一项所述的方法，其特征在于，所述步骤S10还包括：将无人机拍摄的照片上传至服务器，并对上传的照片进行归