一种基于改进PSMNet的双目视觉立体匹配算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110070574A(43)申请公布日2019.07.30(21)申请号201910354039.6(22)申请日2019.04.29(71)申请人优乐圈（武汉）科技有限公司地址430000湖北省武汉市洪山区珞狮路147号武汉理工大学生创业园6楼610室1座位(72)发明人秦岭黄庆雷波程遥张杰(74)专利代理机构上海精晟知识产权代理有限公司31253代理人冯子玲(51)Int.Cl.G06T7/55(2017.01)权利要求书2页说明书3页(54)发明名称一种基于改进PSMNet的双目视觉立体匹配算法(57)摘要本发明公开了一种基于改进PSMNet的双目视觉立体匹配算法，包括如下步骤：采用降维的起始模块对左右图像进行特征提取，分别得到特征图，将得到的特征图输入SPP模块，SPP模块将特征图压缩之后进行上采样，并将不同级别的特征图合成最终SPP特征图，结合左右图中每个视差值，每个视差值对应的特征图与SPP特征图构成四维匹配代价卷，三维卷积模块聚合环境信息，并且通过上采样和视差回归得到最终的视差图，根据由归一化指数函数操作得到预测代价Cd来计算每一个视差的可能性，使用恒等映射进行优化，预测视差值由每一个视差值及其对应的可能性求和得到。CN110070574ACN110070574A权利要求书1/2页1.一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，包括以下步骤：S1：采用降维的起始模块对左右图像进行特征提取，分别得到特征图；S2：将得到的特征图输入SPP模块，SPP模块将特征图压缩之后进行上采样，并将不同级别的特征图合成最终SPP特征图，SPP特征图的生成过程为：A、选择一个特征信息作为基础，提取特征信息上的特征连接值；B、查找特征信息，根据基础特征信息上的特征连接值在采集的特征信息中寻找可与特征连接值相匹配的特征信息进行连接，生成更大的基础特征信息；C、在新生成的基础特征信息上再次提取新的特征连接值，在采集的特征信息中寻找可与新的特征连接值相匹配的特征信息进行连接，依次寻找进行匹配；D、最后，形成最终SPP特征图；S3：结合左右图中每个视差值，每个视差值对应的特征图与SPP特征图构成四维匹配代价卷；S4：三维卷积模块聚合环境信息，并且通过上采样和视差回归得到最终的视差图，根据由归一化指数函数操作得到预测代价Cd来计算每一个视差的可能性，使用恒等映射进行优化，预测视差值由每一个视差值及其对应的可能性求和得到。2.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S1中，起始模块对图像的采集为首先对图像进行扫描，获得数据图像，根据图像数据上特征数据的特点，对特征数据进行提取。3.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S2中，上采样过程中,采用基于原始低分辨率图像边缘的方法，首先检测低分辨率图像的边缘，然后根据检测的边缘将像素分类处理，采用传统方法插值低分辨率图像，然后检测高分辨率图像的边缘，最后对边缘及附近像素进行特殊处理，以去除模糊，增强图像的边缘。4.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S2中，SPP模块对特征图进行采样，SPP模块与各计算模块均相连，在SPP模块采集特征图后，各计算模块均可从SPP模块中提取特征图的特征信息。5.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S3中，视差值的特征图与SPP特征图匹配通过特征值上的特征数据进行匹配，SPP特征图上设置方向特征数据，方向特征之间相互匹配，形成多维度代价卷。6.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S4中，卷积模块采用1×1卷积模块，卷积模块可以对特征图厚度进行有效降维，这样可以在不增加网络参数的情况下，增加网络的宽度和增加网络对多个尺度的适应性，提高匹配精度。7.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S4中，归一化指数函数加快网络训练的收敛速度，同时，归一化使训练能够使用更高的学习率而无需太多初始化操作，结合其他网络优化操作，在对图像进行测试时，降低了测试时间。8.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S4中，求和公式为：2CN110070574A权利要求书2/2页采用Focalloss函数训练，损失函数定义如下：式中：FL(x)＝-αxγlog(1-x)，其中，d是ground-truth视差值，是预测视差值。3CN110070574A说明书1/3页一种基于改进PSMNet的双