一种基于中心像素梯度融合和全局代价聚合的深度立体匹配算法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984349A(43)申请公布日2023.04.18(21)申请号202211660335.7(22)申请日2022.12.23(71)申请人重庆邮电大学地址400065重庆市南岸区崇文路2号(72)发明人陶洋欧双江(51)Int.Cl.G06T7/55(2017.01)G06V10/75(2022.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书4页说明书7页附图2页(54)发明名称一种基于中心像素梯度融合和全局代价聚合的深度立体匹配算法(57)摘要本发明属于计算机视觉领域，主要是一种基于中心像素梯度融合和全局代价聚合的深度学习立体匹配算法。虽然目前主流基于深度学习的立体匹配算法精度较高，但是这些算法往往使用常规卷积提取特征，并且因为代价聚合的有限感受野，所以在左右光照不一致、大面积无纹理、弱纹理等病态区域效果较差。本发明提出了一种新的深度学习立体匹配算法，首先，设计了差分卷积残差组，显式编码结构信息提高特征表达。然后，设计了全局代价聚合模块，使得有效聚合代价体并捕获全局上下文，最后，采用加窗视差回归降低了视差标签不平衡的影响。本发明可以在提高模型在病态区域的性能的同时，约束模型的多峰分布，从而获得更加准确的视差估计。CN115984349ACN115984349A权利要求书1/4页1.一种基于中心像素梯度融合和全局代价聚合的深度立体匹配算法，其特征在于，该方法包括以下步骤：步骤1：结合中心差分卷积形成残差组对图像特征进行强度和结构信息融合提取，并建立4D代价体。步骤2：使用带有Transformer的3DCNN对代价体进行全局代价聚合，使其正则化。建立全视差空间的依赖关系，进行信息聚合，有效的为无纹理或弱纹理区域的像素提供信息支撑。步骤3：加窗视差回归和交叉熵进行协同约束。对优选视差进行加窗，促进正确的视差的概率，降低错误视差的概率，约束了视差空间的多峰分布，获得准确的视差。2.根据权利要求1所述的一种基于中心像素梯度融合和全局代价聚合的深度立体匹配算法，其特征在于，所述步骤1中，具体过程如下:步骤1.1：输入经过极线矫正后的左右图片，根据数据集场景设定最大视差。步骤1.2：将图片通过特征提取网络，前三层均采用3×3的CDC‑Conv，设置其卷积步长分别为2，1，1而对原始图像进行下采样，然后跟随4个步长分别为1，2，1，1的卷积差分残差组，进一步提取原始图像信息并进行下采样，最后生成尺寸为原始输入图像1/4大小的特征图，本发明在每个残差组的初始阶段使用差分卷积，随后使用残差主干生成具有大范围和高密集采样的特征，从而增强特征提取。每个差分卷积的计算过程的数学表达如下：公式中，y(p0)为对应像素的卷积输出；R为以像素p0为中心的3×3的像素范围；w(pn)为卷积对应的可学习权重；θ∈[0,1]为平衡梯度信息和强度信息的超参数，当为0时差分卷积退化为普通卷积，本发明设定其为0.7。而通过对强度信息的融合，在通过后面的残差结构后得到充分融合结构和强度混合编码的底层语义信息，构成图像的特征图。为了进一步获得较大的感受野而提取更丰富的特征信息，在特征提取后段，使用RFB模块进一步进行局部特征信息聚合。步骤1.3：为了进一步获得较大的感受野从而获得更加丰富的特征信息，本发明将学习到的局部信息特征通过RBF模块来进行聚合，如图2使用4分支的轻量级RBF模块，每一个分支由一个1×1的卷积，S×S的等宽卷积和一个3×3而dilated为S的空洞卷积组成(这里S表示卷积核大小，本发明设定为3或者5两种，从图2中可以观察得到)，进行一次局部信息扩展，最后将所有的分支进行拼接，通过RBF模块的每个分支输出的特征图尺寸和输入的相同。步骤1.4：使用带有视差维度的4D代价体对图像的视差空间进行建模形成4D代价体。其32×H/4×W/432×H/4×W/4中对于对左图特征fl∈R和右图特征fr∈R，通过差分的方式构建代价体C64×D/4×H/4×W/4∈R，其对于视差等级为di的代价体来说，具体建立过程可以用下式表达：C(di,fli,fri)＝<fl(xi,yi)‑fr(xi,yi)>公式中，(xi,yi)表示左图的像素坐标。2CN115984349A权利要求书2/4页3.根据权利要求1所述的一种基于中心像素梯度融合和全局代价聚合的深度立体匹配算法，其特征在于，所述步骤2中，具体过程如下：步骤2.1：对步骤1.3后的视差代价体进行3D卷积正则化，采用类似Unet结构的3DCNN网络，对视差体进行下采样，不断编码浅层的局部信息，滤出冗余信息，最后得到C∈R256×D/32×H/32×W/32的代价体。步骤2.2：进行动态位置编码，具体来说：在