一种基于编解码网络的轻量级快速图像深度估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114693759A(43)申请公布日2022.07.01(21)申请号202210336050.1(22)申请日2022.03.31(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人董乐张宁张文彬(74)专利代理机构成都弘毅天承知识产权代理有限公司51230专利代理师岳子强(51)Int.Cl.G06T7/50(2017.01)G06T9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于编解码网络的轻量级快速图像深度估计方法(57)摘要本发明公开了一种基于编解码网络的轻量级快速图像深度估计方法，涉及图像处理和计算机视觉技术领域，图像深度估计方法包括以下步骤：采集图像，同时获取这些图像对应的深度信息作为标签，将它们分成训练集和测试集；构建编码器的网络架构；构建解码器的网络架构；构建注意力模块的网络架构，并在编码器、解码器之间加入带注意力模块的跳跃连接，实现图像细节信息的保留和关注；将训练集中的图像输入到编码器中进行特征提取和编码输出，并结合融入了注意力模块的跳跃连接和解码器架构，对图像特征图层自下而上解码生成最终的深度图像；将训练好的模型通过测试集进行测试。整个网络架构清晰简洁，模型整体小而轻便。CN114693759ACN114693759A权利要求书1/2页1.一种基于编解码网络的轻量级快速图像深度估计方法，其特征在于，所述图像深度估计方法包括以下步骤：S1：采集图像，同时获取这些图像对应的深度信息作为标签，将它们分成训练集和测试集；S2：构建编码器的网络架构，对输入的图像进行特征提取和编码输出；S3：构建解码器的网络架构，对编码器得到的图像特征图层进行解码处理；S4：构建注意力模块的网络架构，并在编码器、解码器之间加入带注意力模块的跳跃连接，实现图像细节信息的保留和关注；S5：将训练集中的图像输入到编码器中进行特征提取和编码输出，并结合融入了注意力模块的跳跃连接和解码器架构，对图像特征图层自下而上解码生成最终的深度图像；S6：将训练好的模型通过测试集进行测试。2.根据权利要求1所述的一种基于编解码网络的轻量级快速图像深度估计方法，其特征在于，构建所述编码器的网络架构包括以下步骤：S21:在获取到输入的图像后，通过第一层卷积的步长为2、第二层的卷积的步长为1的两层深度可分离卷积处理，并配合padding操作保证图层尺寸的不变性，得到尺寸为原始输入图像1/2的图像特征图层；S22:对尺寸为原始输入图像1/2的图像特征图层经过第一层卷积的步长为2、第二层的卷积的步长为1的两层深度可分离卷积处理，得到尺寸为原始输入图像1/4的图像特征图层；S23:再次通过第一层卷积的步长为2、第二层的卷积的步长为1的两层深度可分离卷积处理，得到尺寸为原始输入图像1/8的图像特征图层；S24:再次对尺寸为原始输入图像1/8的图像特征图层进行步长为2的深度可分离卷积处理，得到尺寸为原始输入图像1/16的图像特征图层，之后，一次性经过五层步长为1的深度可分离卷积处理，得到一个高度抽象的图像特征图层；S25:最后再使用一个步长为2的深度可分离卷积，使得高度抽象的图像特征图层的尺寸变成原始输入图像的1/32的高度抽象的图像特征图层，送入解码器进行处理解码。3.根据权利要求2所述的一种基于编解码网络的轻量级快速图像深度估计方法，其特征在于，构建所述解码器的网络架构包括以下步骤：S31:对图像特征图层插入零值，将尺寸扩大两倍，然后基于双线性插值的方式，对这些零值进行填充，最终得到一个上采样的图像特征图层；S32:对编码器得到的高度抽象的图像特征图层自下而上地进行上采样，一共进行五次上采样，从而得到和原始输入图像尺寸一致的图像特征图层；S33:再将这个图像特征图层通过一个1X1的卷积进行处理，得到最终的深度图像。4.根据权利要求3所述的一种基于编解码网络的轻量级快速图像深度估计方法，其特征在于，构建所述注意力模块的网络架构包括以下步骤：S41:在进行第二、三、四次上采样时，通过跳跃连接将编码器和解码器中的空间尺寸相同的图像特征图层连接在一起，在跳跃连接过程中，加入注意力模块；S42:g代表解码器中本来具有的图像特征图层，H×W×D代表形状大小，xl代表编码器中对应的要进行跳跃连接的图像特征图层，在注意力模块中，首先将这两部分分别通过一个12CN114693759A权利要求书2/2页×1的卷积层处理后进行对应相加，然后通过一个ReLU模块进行非线性处理，接着再通过一个1×1的卷积层处理后，在输出的这个图像特征图层上执行Sigmoid操作，生成一个图像掩膜