一种基于多尺度CNN和连续CRF的单目图像深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106157307A(43)申请公布日2016.11.23(21)申请号201610510552.6(22)申请日2016.06.27(71)申请人浙江工商大学地址310018浙江省杭州市下沙高教园区学正街18号(72)发明人竺乐庆王勋王慧燕(74)专利代理机构杭州天勤知识产权代理有限公司33224代理人胡红娟(51)Int.Cl.G06T7/00(2006.01)权利要求书2页说明书9页附图1页(54)发明名称一种基于多尺度CNN和连续CRF的单目图像深度估计方法(57)摘要本发明公开了一种基于多尺度CNN和连续CRF的单目图像深度估计方法，其利用CRF模型根据DCNN的输出深度图计算单点势能，根据输入RGB图像计算成对稀疏势能，最后用MAP(最大化后验概率)算法推导出优化的深度图。本发明结合了多尺度CNN和连续CRF优化思想，不仅能够以较高的精确度估计出深度图，又能使得到的深度图轮廓清晰；本发明所估计的深度有比较高的分辨率，而且所得到的深度图能保留场景中所有对象的深度细节信息，具有更好的视觉效果。CN106157307ACN106157307A权利要求书1/2页1.一种基于多尺度CNN和连续CRF的单目图像深度估计方法，包括如下步骤：(1)获取足够数量的样本图像，并对样本图像依次进行数据增强操作以及归一化处理；(2)根据步骤(1)中归一化后的样本图像分两个阶段训练DCNN，DCNN共包括三个栈，前两个栈通过第一阶段训练完成，第三个栈通过第二阶段训练完成；(3)对于待估计深度的输入图像I，根据DCNN的输出建立关于输入图像I及其深度图Y的条件概率分布函数P(Y|I)：Z(I)＝∫Yexp(-E(Y，I)dY其中：Z(I)为输入图像I对应的配分函数，E(Y，I)为关于输入图像I及其深度图Y的能量函数，zi为第i个有效像素预测的对数深度值，yi和yj分别为第i个有效像素和第j个有效像素实际的对数深度值，pi和pj分别为第i个有效像素和第j个有效像素的坐标值，ci和cj分别为第i个有效像素和第j个有效像素的LAB颜色值，wij1、wij2、σij1、σij2和σij3均为CRF模型参数，i和j均为自然数且1≤i≤N，1≤j≤N，N为有效像素的总数；然后对函数P(Y|I)进行最大化求解，进而将求解得到的深度图从对数空间转换回线性空间即可获得具有较高精确度且保留了物体轮廓细节信息的深度图。2.根据权利要求1所述的单目图像深度估计方法，其特征在于：所述的数据增强操作包括尺寸缩放、旋转、平移、亮度缩放以及镜像，所述的归一化处理即减去样本图像的均值并除以均方差。3.根据权利要求1所述的单目图像深度估计方法，其特征在于：所述DCNN的第一个栈为Imagenet预训练网络，即采用Alexnet模型的前7层或VGG16模型的前15层；第二个栈由5个卷积层组成，前4个卷积层均尾随池化操作，最后1个卷积层为线性输出，其中第1个卷积层的输入为步骤(1)中归一化处理后的样本图像，第2个卷积层的输入则是第一个栈的输出经上采样后与第1个卷积层池化后的输出连接而成的特征，之后每一个卷积层的输入均为前一个卷积层的输出；第三个栈由4个卷积层组成，前3个卷积层均尾随池化操作，最后1个卷积层为线性输出，其中第1个卷积层的输入为步骤(1)中归一化处理后的样本图像，第2个卷积层的输入则是第二个栈的输出经上采样后与第1个卷积层池化后的输出连接而成的特征，之后每一个卷积层的输入均为前一个卷积层的输出。4.根据权利要求3所述的单目图像深度估计方法，其特征在于：所述第一阶段训练中所使用的损失函数L如下：2CN106157307A权利要求书2/2页其中：xi和分别是第i个有效像素的预测深度值和实际深度值，和分别表示di的水平梯度和垂直梯度。5.根据权利要求1所述的单目图像深度估计方法，其特征在于：所述的步骤(3)中通过以下算式对函数P(Y|I)进行最大化求解：其中：Z为DCNN第三个栈的输出经双线性插值上采样和边界补全后的深度图，D为对角元素dii＝Σjsij的对角矩阵，S为相似度矩阵且其中第i行第j列元素值E为N×N的单位矩阵。6.根据权利要求1所述的单目图像深度估计方法，其特征在于：所述的CRF模型参数wij1、wij2、σij1、σij2和σij3可通过以下两种优化方法取得：第一种方法是将CRF集成到DCNN中统一用SGD法寻优，此时CRF的输出与真实对数深度图进行比较计算损失；第二种方法是CRF模型独立调优，在一定的范围内用交叉验证集数据，步长从大到小循环寻优，此时DCNN的参数是固定不变的。3CN106157307A说明书1/9页一种基于多尺度CNN和连续CRF的单目图像深度估计方法技术领域[0