一种基于双目图像的输电线路分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953698A(43)申请公布日2023.04.11(21)申请号202211556697.1G06V10/80(2022.01)(22)申请日2022.12.06G06V10/82(2022.01)(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人陈玉毛明锋陈文祥刘璐祝国强熊纬绮奚学磊王双(74)专利代理机构西安恒泰知识产权代理事务所61216专利代理师王芳(51)Int.Cl.G06V20/17(2022.01)G06V20/10(2022.01)G06V10/26(2022.01)G06V10/30(2022.01)G06V10/56(2022.01)权利要求书2页说明书9页附图6页(54)发明名称一种基于双目图像的输电线路分割方法(57)摘要本发明公开了一种基于双目图像的输电线路分割方法：步骤1：获取双目输电线路图像分割数据集，对数据集中图片进行校正；步骤2：构建基于双目图像的输电线路分割网络，包括两个主干网络、特征金字塔网络、双目视差深度估计子网络、多尺度视差色彩融合模块及空间信息增强的分割头；步骤3：将双目视差深度估计子网络进行视差估计任务的无监督预训练；步骤4：将分割网络在更新后的数据集上进行视差估计和输电线路分割双任务联合训练；步骤5：将待识别的双目输电线路图像输入训练好的分割网络进行识别，得到视差图和输电线路识别分割结果。本发明提高了分割结果的准确性，有效地减少了分割结果中出现线路不连续的情况。CN115953698ACN115953698A权利要求书1/2页1.一种基于双目图像的输电线路分割方法，其特征在于，包括以下步骤：步骤1：获取双目输电线路图像分割数据集，对数据集中的图片进行畸变校正和极线校正，得到校正后的左、右图像，即得到更新后的数据集；步骤2：构建基于双目图像的输电线路分割网络，所述的基于双目图像的输电线路分割网络包括两个主干网络、特征金字塔网络、双目视差深度估计子网络、多尺度视差色彩融合模块以及空间信息增强的分割头；其中：所述两个主干网络分别用于对校正后的左、右图像分别进行特征提取，具体是将左、右图像分别输入两个并行的主干网络，分别获得四个不同尺度的左特征图和右特征图它们的尺寸分别为原图的(1/4,1/8,1/16,1/32)；所述双目视差深度估计子网络用于对两个主干网络提取出的左特征图和右特征图，使用Coarse‑to‑Fine的策略计算出与左特征图和右特征图对应的视差图；所述特征金字塔网络用于将主干网络提取出的四个不同尺度的左特征图进行自顶向下的信息传递，得到左图像对应的特征金字塔所述多尺度色彩视差融合模块用于将特征金字塔与左视差图进行多尺度融合，得到嵌入深度信息的RGBD特征金字塔{N2,N3,N4,N5}；所述空间信息增强的分割头用于根据RGBD特征金字塔计算得到最终的输电线路分割结果，并且其中含有空间信息传递模块，该模块用于对特征图中目标物体的结构信息沿着宽度方向和高度方向进行空间信息传递；步骤3：将双目视差深度估计子网络在FlyingThings3D数据集上进行视差估计任务的无监督预训练；步骤4：将步骤2构建的基于双目图像的输电线路分割网络在步骤1得到的更新后的数据集上进行视差估计和输电线路分割双任务联合训练，得到训练好的基于双目图像的输电线路分割网络；步骤5：将待识别的双目输电线路图像输入训练好的基于双目图像的输电线路分割网络进行识别，得到视差图和输电线路识别分割结果。2.如权利要求1所述的基于双目图像的输电线路分割方法，其特征在于，所述步骤2中，所述双目视差深度估计子网络使用Coarse‑to‑Fine的策略对两个主干网络提取出的左特征图和右特征图计算视差图，具体过程为：将两个主干网络提取的四对不同尺度的左特征图和右特征图通过BasicBlock残差单元进行通道数压缩；然后将通道数压缩后的四对左、右特征图分别输入对应尺度的匹配代价体计算模块得到两组匹配代价体，分别为左匹配代价体和右匹配代价体再将这两组匹配代价体按照尺度从小到大的顺序进行上采样和累加，得到新的左匹配代价体和右匹配代价体最后将新的匹配代价体进行视差回归计算分别得到与步骤1得到的数据集中的左、右图像对应的左视差图和右视差图这两组视差图的尺寸为原图的(1/4,1/8,1/16,1/32)。2CN115953698A权利要求书2/2页3.如权利要求1所述的基于双目图像的输电线路分割方法，其特征在于，所述步骤2中，多尺度色彩视差融合模块实现的流程：将双目视差深度估计子网络输出的左视差图进行三次下采样操作后的特征图输入一个卷积层、批归一化层和激活层，得到视差图金字塔，并将特征金字塔与视差图金字塔在对应尺度上进行融合，得到嵌入深