基于自注意力导向特征融合的自监督单目深度估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035171A(43)申请公布日2022.09.09(21)申请号202210606117.9(22)申请日2022.05.31(71)申请人西北工业大学地址710072陕西省西安市碑林区友谊西路127号(72)发明人吴萌蒋培哲蔚婧文天贶江尚航张乐(74)专利代理机构西安弘理专利事务所61214专利代理师王奇(51)Int.Cl.G06T7/50(2017.01)权利要求书2页说明书7页附图3页(54)发明名称基于自注意力导向特征融合的自监督单目深度估计方法(57)摘要本发明公开一种基于注意力导向特征融合的自监督单目深度估计方法，本发明在编码器中加入通道自注意力模块用以捕获结构场景中更多的全局上下文信息，进而增强特征表示；在解码器中设计基于空间交叉注意力机制的特征融合模块，将增强的特征作为high‑level的特征来引导low‑level特征进一步校准解码器中的特征，以强调特定的语义信息，增强在非连续区域的特征表示能力；最后，解码器输出连接多层深度估计模块，以监督解码器中间层的结果，提高深度估计的精度，防止粗尺度上的估计误差累积并影响到细尺度上的估计，获得更加准确的深度图。CN115035171ACN115035171A权利要求书1/2页1.基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，包括以下步骤：步骤1，使用连续的视频帧或者双目图像作为数据集，将图片调整至同一大小后作为训练集进行数据增广；步骤2，构建基于注意力导向特征融合的自监督单目深度估计框架，包括改进的深度估计网络和位姿估计网络：改进的深度估计网络包括依次连接的编码器和解码器，所述编码器使用ResNet18，编码器的输出端连接解码器，解码器为5层结构，每层包含卷积以及上采样模块，其中第2、3、4、5层依次连接有空间交叉注意力模块以及深度估计模块；所述编码器的输出还连接通道自注意力模块，通道自注意力模块的输出分别与每个空间交叉注意力模块的输入连接；步骤3，设计损失函数，采用数据增广后的训练集和验证集对基于注意力导向特征融合的自监督单目深度估计框架进行训练；步骤4，输入待估计图片，采用训练好改进的深度估计网络对待估计图片进行深度估计输出结果。2.如权利要求1所述的基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，所述步骤1中的数据增广方法包括依次进行的随机水平翻转、随机亮度、对比度、饱和度以及色调抖动。3.如权利要求1所述的基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，所述通道自注意力模块中具体操作中，利用矩阵乘法计算输入特征E的特征相似性S，经过Softmax层得到注意力图Ac，最后将注意力图与原特征相乘，并与原特征中每个元素对应求和，得到增强后的特征4.如权利要求1所述的基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，所述空间交叉注意力特征融合模块对输入的增强特征做如下操作：针对使用临近点插值的方式对其进行上采样到40×128分辨率，并通过1×1卷积转化为query特征：Query＝Q(x)；针对X使用平均池化的方式也对其进行下采样到40×128分辨率，并使用1×1卷积得到key和value特征：Key＝K(x)和Value＝V(x)，按矩阵乘法得到空间交叉注意力图最终获取融合特征F。5.如权利要求1所述的基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，所述损失函数采用图像重投影损失和平滑度损失，公式分别为：其中，Lph表示重投影损失，It和Is→t分别为t时刻的原始图像和重构图像，SSIM以3×3的*像素窗口来计算图像的相似性，α和β为超参数；Ls表示平滑度损失，dt为t时刻平均归一化深度的倒数；为了解决遮挡的区域并剔除与相对相机运动静止的目标，在损失函数中使用最小重投影损失与auto‑mask进行改进：2CN115035171A权利要求书2/2页其中μ为auto‑mask，[]内条件满足记为1，不满足为0；则总损失函数L为：其中，Lp为最小光度误差，μ为auto‑mask，S＝4为层数，λ为平滑度损失的权值。6.如权利要求1所述的基于注意力导向特征融合的自监督单目深度估计方法，其特征在于，深度估计网络和位姿估计网络均采用Adam优化器进行训练，训练过程中，深度估计网络输入单张RGB图像输出对应的深度图，使用ResNet18为网络骨架利用卷积池化层进行逐级下采样，解码器部分利用卷积并逐级上采样，原始输入图像中的空间信息与图像中的边缘信息会逐渐恢复，并且使用跳跃连接结构，即解码器每层特征与对应编码器中的特征使用拼接的方式在通道上融合，提供多尺度层次信息，以达到更精细的效果；位姿估计网络是基于ResNet18设计，可以输入两张RGB图像估计