基于图像配准的输电线路巡检方法、系统和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115097836A(43)申请公布日2022.09.23(21)申请号202210754688.7(51)Int.Cl.(22)申请日2022.06.30G05D1/02(2020.01)(71)申请人国电南瑞科技股份有限公司地址211106江苏省南京市江宁经济技术开发区诚信大道19号2幢申请人国网电力科学研究院有限公司南瑞集团有限公司(72)发明人蒋轩张斌黄国方侯建国刘晓铭温祥青薛栋梁张静杨明鑫周兴俊单超谢芬许茂洲吴圣和陈向志(74)专利代理机构南京纵横知识产权代理有限公司32224专利代理师朱远枫权利要求书2页说明书5页附图4页(54)发明名称基于图像配准的输电线路巡检方法、系统和存储介质(57)摘要本发明公开了基于图像配准的输电线路巡检方法、系统和存储介质，包括获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像；从输电线路巡检画面中提取杆塔区域图像；将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变；将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中；对杆塔区域图像中的巡检目标进行图像巡检。本发明通过构建杆塔巡检目标模板图像，可在输电线路巡检中可重复利用，显著提高了巡检工作效率。CN115097836ACN115097836A权利要求书1/2页1.基于图像配准的输电线路巡检方法，其特征在于，包括：获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像；从输电线路巡检画面中提取杆塔区域图像；将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变；将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中；对杆塔区域图像中的巡检目标进行图像巡检。2.根据权利要求1所述的基于图像配准的输电线路巡检方法，其特征在于，对杆塔区域图像中的巡检目标进行巡检，其特征在于，包括：利用云台相机跟踪巡检目标；计算巡检目标处于当前杆塔区域图像画面中的相对位置；当巡检目标位于当前杆塔区域图像画面中心并且尺寸大于阈值时利用云台相机完成拍摄。3.根据权利要求1所述的基于图像配准的输电线路巡检方法，其特征在于，获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像，包括：采集选定类型杆塔的正面全景巡检画面，去除背景提取杆塔区域，生成杆塔模板图像；在杆塔模板图像上利用目标框标注所有巡检目标的位置和尺寸；保存所有巡检目标框左上角和右下角的像素坐标生成杆塔巡检目标模板图像。4.根据权利要求1所述的基于图像配准的输电线路巡检方法，其特征在于，从输电线路巡检画面中提取杆塔区域图像，包括：使用训练好的Mask‑RCNN深度学习模型完成对输电线路巡检画面中杆塔的实例分割；提取实例分割结果中尺度最大的一个杆塔区域就是当前巡检杆塔区域。5.根据权利要求1所述的基于图像配准的输电线路巡检方法，其特征在于，将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变，包括：对杆塔区域图像及杆塔巡检目标模板图像分别提取SURF特征点；利用Flann匹配器对提取的特征点进行匹配；利用RANSAC特征点对筛选法去除匹配错误的特征点对；计算单应性矩阵，通过仿射变换，矫正杆塔区域图像畸变，完成配准。6.根据权利要求5所述的基于图像配准的输电线路巡检方法，其特征在于，将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中，包括：基于单应性矩阵，对每一个巡检目标的中心坐标进行仿射变换，即获取在当前杆塔区域图像中的巡检目标中心坐标位置。7.根据权利要求1所述的基于图像配准的输电线路巡检方法，其特征在于，跟踪巡检目标并计算巡检目标处于当前巡检画面中的相对位置，包括：利用滤波算法对巡检画面中每一个巡检目标进行跟踪；将当前杆塔区域图像画面中分为9个区域，分别为中心、左、右、上、下、左上、左下、右上和右下；根据目标跟踪中心点所在区域，判断巡检目标在当前巡检画面中的相对位置，生成对应生成云台相机角度转动指令；计算巡检目标区域面积占全景巡检画面的比例，用于云台相机焦距调节。8.基于杆塔区域图像配准的输电线路巡检系统，其特征在于，包括：巡检目标模板建立模块、图像配准模块和图像巡检模块；2CN115097836A权利要求书2/2页巡检目标模板建立模块，用于获取选定类型杆塔的杆塔模板图像，并对杆塔模板图像中的巡检目标进行建模获得杆塔巡检目标模板图像；图像配准模块，用于从输电线路巡检画面中提取杆塔区域图像；将提取的杆塔区域图像与杆塔巡检目标模板图像配准以矫正畸变；将杆塔巡检目标模板图像中的巡检目标逐一映射到配准后的杆塔区域图像中；图像巡检模块，用于对杆塔区域图像中的巡检目标进行图像巡检。9