基于全卷积密集连接神经网络的单目图像深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110189370A(43)申请公布日2019.08.30(21)申请号201910402569.3(22)申请日2019.05.15(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人刘珂瑄刘瑶鲁俊良娄云龙秋玲(74)专利代理机构成都行之专利代理事务所(普通合伙)51220代理人温利平(51)Int.Cl.G06T7/55(2017.01)G06T5/00(2006.01)权利要求书2页说明书6页附图3页(54)发明名称基于全卷积密集连接神经网络的单目图像深度估计方法(57)摘要本发明公开了一种基于全卷积密集连接神经网络的单目图像深度估计方法，通过构建四组密集连接模块+连接模块+下采样模块、一个15层的密集连接块以及四组四组上采样模块+连接模块+密集连接模块，在不同深度层结果之间采取跳级结构，使得每层网络能感知更多像素的信息。本发明充分利用了每一层的特征图，包含了高低不同等级的特征，从而实现训练出更精确的图像深度，且该方法得到的图像轮廓更加清晰，在一定程度上解决了现有单目图像深度估计方法生成的结果存在的过于平滑现象且不清晰的现象，获得了更为清晰的深度图像，从而提高了图像深度估计的精确度。CN110189370ACN110189370A权利要求书1/2页1.一种基于全卷积密集连接神经网络的单目图像深度估计方法，其特征在于，包括以下步骤：(1)、构建全卷积密集连接神经网络所述构建的全卷积密集连接神经网络包括：一3×3卷积层，用于对输入的单目图像进行进行3×3的卷积(Conv)操作，输出特征图F0，并输出给第一组密集连接模块+连接模块+下采样模块；四组密集连接模块+连接模块+下采样模块，其中，每组的密集连接模块对输入特征图进行处理并输出特征图，连接模块对密集连接模块输入的特征图和输出的特征图进行连接并输出特征图，连接模块输出的特征图经过下采样输出；第一组密集连接模块+连接模块+下采样模块的输入特征图为特征图F0，其连接模块输出特征图为F1，第二、三、四组密集连接模块+连接模块+下采样模块的输入特征图分别为第一、二、三组密集连接模块+连接模块+下采样模块中下采样模块输出的特征图，其连接模块输出特征图分别为F2、F3、F4；一15层的密集连接块(DenseBlock)，对第四组密集连接模块+连接模块+下采样模块中下采样模块输出的特征图进行处理，并输出处理后的特征图F5；四组上采样模块+连接模块+密集连接模块，其中，第一组的上采样模块对特征图F5进行上采样，然后在连接模块中与特征图F4进行连接并输出特征图到密集连接模块中进行处理并输出特征图F6，第二组的上采样模块对特征图F6进行上采样，然后在连接模块中与特征图F3进行连接并输出特征图到密集连接模块中进行处理并输出特征图F7，第三组的上采样模块对特征图F7进行上采样，然后在连接模块中与特征图F2进行连接并输出特征图到密集连接模块中进行处理并输出特征图F8，第四组的上采样模块对特征图F8进行上采样，然后在连接模块中与特征图F1进行连接并输出特征图到密集连接模块中进行处理并输出特征图F9；四个反卷积层，分别对特征图F6、F7、F8、F9进行4个不同大小的反卷积(Deconv)，得到大小相同的特征图，然后进行相加，得到数量为1的特征图F10；一1×1卷积层，对特征图F10进行卷积操作，并通过Softmax函数得到最终的特征图像即深度图像。(2)、训练全卷积密集连接神经网络2.1)、将采集一定数量的室内外图像以及对应的深度图像然后进行增强处理，增加全卷积密集连接神经网络训练样本的数量，具体的增强处理为：旋转：对采集的室内外图像旋转[-5,5]度，相应的深度图像也进行相应度数的旋转；尺度变换：对采集的室内外图像放大[1,1.5]倍，相应的深度图像也进行相应倍数的放大；颜色偏移：对采集的室内外图像的每一个通道乘以一个随机的值，这个值的范围为[0.8,1.2]；翻转：对采集的室内外图像以0.5的概率水平翻转，相应的深度图像也进行相应的水平翻转；2.2)、将采集的室内外图像以及对应的深度图像、增强处理后的室内外图像以及对应的深度图像转换到为同一分辨率，作为训练样本输入到全卷积密集连接神经网络中对其进行训练；(3)、图像深度估计2CN110189370A权利要求书2/2页将采集的单目图像转换为步骤2.2所述的同一分辨率，输入到步骤(2)训练好的全卷积密集连接神经网络中，得到该单目图像的深度图像。2.根据权利要求1所述的基于全卷积密集连接神经网络的单目图像深度估计方法，其特征在于，密集连接块中层连接方法为：输入特征图作为密集连接块的输入(Input)，连接到层(layer)结构中进行