一种基于CBAM的单目无监督深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112950697A(43)申请公布日2021.06.11(21)申请号202110142746.6(22)申请日2021.02.02(71)申请人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人潘树国魏建胜高旺赵涛(74)专利代理机构南京众联专利代理有限公司32206代理人周蔚然(51)Int.Cl.G06T7/593(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书6页附图4页(54)发明名称一种基于CBAM的单目无监督深度估计方法(57)摘要本发明公开了一种基于CBAM的单目无监督深度估计方法。深度估计是机器人实现对周围环境感知的关键技术之一，基于监督学习的深度估计方法将激光雷达等传感器得到的距离测量值处理后作为真值进行训练，但此过程会占用大量的人力和计算资源，因此其在跨场景中的应用很受限制。本发明在基于无监督学习的深度估计框架下，引入卷积块注意力模块并进行立体图像对的光度重建、视差平滑和左右视差一致性训练，对单目图像进行有尺度的深度估计。使用本发明所提出的方法，能够保留周围环境中物体的深度细节，并提高整体的深度估计精度，同时在跨场景下的泛化能力也能得到保障。CN112950697ACN112950697A权利要求书1/3页1.一种基于CBAM的单目无监督深度估计方法，其特征在于：包括以下步骤：步骤1)，引入CBAM同Resblock组合成Resblock‑CBAM；步骤2)，基于Resblock‑CBAM设计带注意力机制的深度估计网络；步骤3)，针对立体图像对的光度重建、视差平滑和左右视差一致性对深度估计网络进行训练，并完成对单目图像的深度估计。2.根据权利要求1所述的基于CBAM的单目无监督深度估计方法，其特征在于，步骤1)所述的引入CBAM同Resblock组合成Resblock‑CBAM，包括如下具体步骤：a)，设置CBAM中的通道注意子模块和空间注意子模块为顺序连接，然后将CBAM与Resblock并行连接形成ConventionalResblock‑CBAM，最后的输出方程如式(1)所示：Fc＝Fr+F″r(1)式中，为Resblock的输出特征，为CBAM空间注意子模块的输出特征，为ConventionalResblock‑CBAM的输出特征；b)，设置CBAM中的通道注意子模块和空间注意子模块为顺序连接，然后将CBAM与Resblock串行连接形成ModifiedResblock‑CBAM，最后的输出方程如式(2)所示：FM＝F″r(2)式中，为ModifiedResblock‑CBAM的输出特征；c)，CBAM中通道注意子模块和空间注意子模块的具体过程如式(3)所示：式中为CBAM通道注意子模块的输出特征；为一维通道的注意力映射图，为二维空间注意力映射图，表示逐像素相乘。3.根据权利要求2所述的基于CBAM的单目无监督深度估计方法，其特征在于，所述通道注意子模块的具体过程如式(4)所示：式中σ表示sigmoid函数，MLP为多成感知器，ω0、ω1是多层感知器的权重，为最大池化和平均池化对应的通道描述子。4.根据权利要求2所述的基于CBAM的单目无监督深度估计方法，其特征在于，所述通道注意子模块的具体过程如式(4)所示：空间注意子模块的具体过程如式(5)所示：式中f7×7表示7×7滤波器的卷积操作，为最大池化和平均池化对应的空间描述子。5.根据权利要求1所述的基于CBAM的单目无监督深度估计方法，其特征在于，步骤2)所述的基于Resblock‑CBAM设计带注意力机制的深度估计网络，包括如下具体步骤：2CN112950697A权利要求书2/3页a)，在深度估计网络的编码器中顺序使用四个Resblock‑CBAM，前三个是ConventionalResblock‑CBAM，第四个是ModifiedResblock‑CBAM；b)，在深度估计网络的编码器中使用五个跳接层，其中第一个跳接层连接编码器中第一个卷积层和解码器中第二个上卷积层，第二个跳接层连接编码器中第一个池化层和解码器中第三个上卷积层，第三个跳接层连接第一个ConventionalResblock‑CBAM和解码器中第四个上卷积层，第四个跳接层连接第二个ConventionalResblock‑CBAM和解码器中第五个上卷积层，第五个跳接层连接第三个ConventionalResblock‑CBAM和解码器中第六个上卷积层，而ModifiedResblock‑CBAM不含跳接层直接与解码器相连接。6.根据权利要求1所述的基于CBAM的单目无监督深度估计方法，其特征在