一种基于多尺度特征融合的单目深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870335A(43)申请公布日2021.12.31(21)申请号202111232322.5(22)申请日2021.10.22(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人周非邓朝龙张黎敏(74)专利代理机构北京同恒源知识产权代理有限公司11275代理人赵荣之(51)Int.Cl.G06T7/50(2017.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于多尺度特征融合的单目深度估计方法(57)摘要本发明涉及一种基于多尺度特征融合的单目深度估计方法，属于三维场景感知领域，包括以下步骤：S1：引入Non‑Local注意力机制，构造混合的归一化函数；S2：在特征提取网络的本层特征、深层特征和浅层特征之间引入注意力机制，计算特征图上特征之间的关联信息矩阵；S3：构建多尺度特征融合模块；S4：在解码网络引入空洞空间金字塔池化模块，扩大卷积的感受野，迫使网络学习更多的局部细节信息。本发明有效的实现了特征提取网络分层特征之间跨空间和跨尺度的特征融合，提高了网络学习局部细节的能力并使深度图在重建过程中完成了细粒度的预测，所引入的参数相对于整个网络来说也相对比较低。CN113870335ACN113870335A权利要求书1/2页1.一种基于多尺度特征融合的单目深度估计方法，其特征在于：包括以下步骤：S1：引入Non‑Local注意力机制，构造混合的归一化函数；S2：在特征提取网络的本层特征、深层特征和浅层特征之间引入注意力机制，计算特征图上特征之间的关联信息矩阵；S3：构建多尺度特征融合模块；S4：在解码网络引入空洞空间金字塔池化模块，扩大卷积的感受野，迫使网络学习更多的局部细节信息。2.根据权利要求1所述的基于多尺度特征融合的单目深度估计方法，其特征在于：所述步骤S1包括：在Non‑Local的基础上，构造混合的SoftMox层作为归一化函数，归一化函数的计算公式如下：其中是第n个部分的相似度得分，i是特征图上的当前像素点，j是特征图上的所有像素点，πn表示第n个聚合权重，N表示特征图划分的数量，wn是一个网络训练中可学习的线性向量，是对应于特征图X上每个区域kj的算数均值。3.根据权利要求1所述的基于多尺度特征融合的单目深度估计方法，其特征在于：所述步骤S2具体包括以下步骤：S21：通过自转换，利用特征图上的其它特征点kj来对当前特征点qi进行关系建模，计算公式如下：其中，wi,j表示空间注意力图，Fmos(·)表示归一化函数，qi,n表示索引，kj,n表示键，表示逐元素相乘，表示自转换后的特征图，vj表示值；S22：通过自上而下的特征转换，利用高维的语义信息对低维特征的上下文信息进行建模，计算公式如下：wi,j＝Fmos(Feud(qi,n,kj,n))式中，Feud(·)表示特征图上两个像素点之间的欧式距离；S23：通过自下而上的特征转换，在不同尺度的特征图通道之间进行相关信息建模，具体的计算公式如下：w＝GAP(K)Qatt＝Fatt(Q,w)Vdow＝Fsconv(V)2CN113870335A权利要求书2/2页其中，w表示通道注意力图，GAP表示全局平均池化，K表示网络浅层特征图的键，Qatt表示经过通道注意力加权后的特征，Fatt(·)代表外积函数，Q表示网络深层特征图的索引，Vdow表示下采样后的特征图，Fsconv(·)是带步长的3×3卷积，V表示网络浅层特征图的值，表示经过自下而上转换的特征图，Fconv(·)是用来细化的3×3卷积，Fadd(·)表示两个特征图进行逐元素相加之后再次通过3×3卷积处理。4.根据权利要求1所述的基于多尺度特征融合的单目深度估计方法，其特征在于：所述步骤S3中，对编码网络的中间4层特征分别进行步骤S2中的三种特征转换，得到多个增强后的高级特征，然后对增强后的特征按尺度进行特征重排，将相同大小的特征与编码网络上的原特征进行级联，最后通过一个3×3卷积将增强后特征的通道维度恢复到输入时的相同维度。5.根据权利要求1所述的基于多尺度特征融合的单目深度估计方法，其特征在于：所述步骤S4具体包括以下步骤：S41：在不同分辨率大小的特征图之间交叉嵌入多个空洞空间金字塔池化模块，捕获具有极大感受野的特征金字塔信息；S42：基于上采样的方法选择参数可学习的反卷积模块；对于所有的上采样模块，把前一个空洞空间金字塔池化模块的输出通过反卷积使特征图的大小变为原来的两倍，然后级联多尺度特征融合模块输出的对应特征和上一个尺度粗估计的深度图；S43：对于所有的空洞空间金字塔池化模块，分别对输入特征执行包含不同空洞率的空洞卷积，输出为不同空洞卷积输出特征的级联。3CN11387033