电力巡检图像缺陷识别方法和系统、电力巡检无人机.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110796107A(43)申请公布日2020.02.14(21)申请号201911065444.2G06N3/04(2006.01)(22)申请日2019.11.04G06N3/08(2006.01)G06T7/00(2017.01)(71)申请人南京北旨智能科技有限公司地址210042江苏省南京市玄武区玄武大道108号徐庄高新区二期聚慧园1号楼3层申请人江苏君英天达人工智能研究院有限公司(72)发明人顾晓东丁晓年尤晓峰董晓情(74)专利代理机构南京钟山专利代理有限公司32252代理人陈月菊(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图2页(54)发明名称电力巡检图像缺陷识别方法和系统、电力巡检无人机(57)摘要本发明公开了一种电力巡检图像缺陷识别方法，包括：创建并且级联目标检测网络和多个分类网络；获取若干帧巡检图像样本，对巡检图像样本中的目标进行标注，生成训练样本集；采用训练样本集对级联网络进行训练，其中，每一网络层的量化参数与其所在网络层的量化级数和量化的范围相关；采用训练好的级联网络对新获取的巡检图像中的缺陷进行识别。本发明能够针对电网杆塔及架空线路的运维，给出了一种有效的FPGA机载识别系统，相应的量化函数可以确保不同网络层的不同通道均能得到合适的量化，最大限度地保留网络的精度；通过级联目标检测网络和分类网络，极大地提高缺陷检测准确率、使电网的无人机巡检真正实现自动化识别。CN110796107ACN110796107A权利要求书1/2页1.一种电力巡检图像缺陷识别方法，其特征在于，所述识别方法包括：S1：创建并且级联目标检测网络和多个分类网络，所述目标检测网络用于定位巡检图像中的目标图像信息并且截取定位到的目标图像信息传送至下一级分类网络，所述分类网络用于判断对应的目标图像信息中是否存在缺陷；S2：获取若干帧巡检图像样本，对巡检图像样本中的目标进行标注，标注项包括目标类型、目标位置、缺陷类型、缺陷位置，生成训练样本集；S3：采用训练样本集对级联网络进行训练，其中，每一网络层的量化参数与其所在网络层的量化级数和量化的范围相关；S4：采用训练好的级联网络对新获取的巡检图像中的缺陷进行识别。2.根据权利要求1所述的电力巡检图像缺陷识别方法，其特征在于，步骤S2中，所述目标类型包括导线、绝缘子、防震锤、销钉螺母、塔基、鸟巢。3.根据权利要求1所述的电力巡检图像缺陷识别方法，其特征在于，所述级联网络的量化策略为：网络训练采用浮点运算，网络预测采用整数运算。4.根据权利要求3所述的电力巡检图像缺陷识别方法，其特征在于，所述量化策略包括以下步骤：建立实数和其数值的比特表达之间的对应性；以浮点运算训练网络，在训练的前向传播过程中插入量化效果，反向传播过程维持浮点运算。5.根据权利要求4所述的电力巡检图像缺陷识别方法，其特征在于，所述建立实数和其数值的比特表达之间的对应性是指：设实数r的仿射映射为：r＝S(q-Z)其中，r为实数，S为尺度常数，Z为零点常数，则两N×N矩阵相乘的运算由整数运算完成：设r(i，j)＝S(q(i，j)-Z)为矩阵元素r(i，j)的量化表达，量化参数为(S，Z)；由矩阵相乘的定义可得：上式中，离线计算得到。6.根据权利要求4所述的电力巡检图像缺陷识别方法，其特征在于，所述在训练的前向传播过程中插入量化效果是指：在前向传播中，权值在与输入做卷积之前被量化，激励函数在用于推断时逐点被量化，每一网络层的量化参数与其所在网络层的量化级数和量化的范围相关。7.根据权利要求6所述的电力巡检图像缺陷识别方法，其特征在于，在所述量化的过程中，采用的量化函数q为：2CN110796107A权利要求书2/2页clamp(r；，a，b)：＝Min(Max(x，a)，b)式中，r为要量化的实数值，[a，b]为量化范围，n是量化的级数，为最近邻取整；权值量化的量化范围通过a：＝Minweights，b：＝Maxweights得到；激励的量化范围在训练过程通过指数移动平均方法得到。8.根据权利要求1所述的电力巡检图像缺陷识别方法，其特征在于，所述目标检测网络的损失函数由坐标误差、IOU误差和分类误差组成，分别为：目标坐标误差目标IOU误差目标分类误差式中，输入图像被分成S×S个栅格，如果某目标Groundtruth的中心位置落入某个栅格，那么这个栅格就负责检测出这个物体；每个栅格预测B个BoundingBox及其置信度，以及C个类别概率；BoundingBox信息(x，y，w，h)为物体的中心位置相对栅格位置的偏移及宽度和高度，均被归一化；置信度反映是否包含目标以及包含目标情况下位置的准