一种单目图像深度估计方法与系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107204010A(43)申请公布日2017.09.26(21)申请号201710293908.X(22)申请日2017.04.28(71)申请人中国科学院计算技术研究所地址100080北京市海淀区中关村科学院南路6号(72)发明人曾一鸣胡瑜刘世策唐乾坤李晓维(74)专利代理机构北京律诚同业知识产权代理有限公司11006代理人祁建国梁挥(51)Int.Cl.G06T7/55(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图3页(54)发明名称一种单目图像深度估计方法与系统(57)摘要本发明涉及单目图像深度估计方法和系统，包括：构建仅具有特征摄取部分的CNN模型架构，作为特征摄取架构；按所需深度图的分辨率设置多个全连接层；将全连接层连接至特征摄取架构，组成初级估计网络模型；使用训练数据集训练初级估计网络模型，并提取初级估计网络模型各层的特征图；计算特征图和其相应深度图的平均相对局部几何结构误差，并根据平均相对局部几何结构误差生成最终估计模型；使用训练数据集并结合损失函数对最终估计模型进行训练，并用训练完成后的最终估计模型对输入图像进行深度预测。本发明根据平均相对局部几何结构误差并基于损失函数训练CNN，进而提高CNN回归深度图像的精度与清晰度，生成的深度图保留了更多场景的几何结构特征。CN107204010ACN107204010A权利要求书1/2页1.一种单目图像深度估计方法，其特征在于，包括以下步骤：步骤S1：获取多个原训练样本，并对该原训练样本进行数据增强操作，生成训练数据集，其中该原训练样本包括原场景图和原深度图；步骤S2：构建仅具有特征摄取部分的CNN模型架构，作为特征摄取架构；步骤S3：按所需深度图的分辨率设置多个全连接层，该全连接层的每一个输出对应该深度图的一个像素点；步骤S4：将该全连接层连接至该特征摄取架构，组成初级估计网络模型；步骤S5：使用该训练数据集训练该初级估计网络模型，并将该初级估计网络模型发送至步骤S6；步骤S6：提取该初级估计网络模型各层的特征图；步骤S7：计算该特征图和其相应深度图的平均相对局部几何结构误差，并根据该平均相对局部几何结构误差生成最终估计模型；步骤S8：使用该训练数据集并结合损失函数对该最终估计模型进行训练，并用训练完成后的该最终估计模型对输入图像进行深度预测。2.如权利要求1所述的单目图像深度估计方法，其特征在于，步骤S7中该最终估计模型的具体生成过程为：绘制该平均相对局部几何结构误差的折线图，在该折线图中找到极小值点，将前q个该极小值点所对应的层记录为一个集合，并将该集合中每层之后的特征图通过一个前递结构连接到深度产生层，在该深度产生层合并该初级估计网络模型产生的深度图与q个前递结构送来的深度图，生成该最终估计模型。3.如权利要求1所述的单目图像深度估计方法，其特征在于，该数据增强操作包括：缩放步骤：将原场景图缩放到原来的θ倍，则对应的原深度图也缩放到原来的θ倍，同时原深度图中的深度值除以θ，生成缩放训练样本；裁剪步骤：对该原训练样本、该缩放训练样本进行随机剪切，生成裁剪训练样本；图像调整步骤：对该原训练样本、该缩放训练样本和该裁剪训练样本进行色度、饱和度和亮度调整，包括对色度、饱和度和亮度乘以一个随机值δ，生成图像调整训练样本；镜像步骤：对该原训练样本、该缩放训练样本、该裁剪训练样本和该图像调整训练样本做水平镜像操作，生成镜像训练样本。该镜像训练样本与该原训练样本、该缩放训练样本、该裁剪训练样本和该HSL调整训练样本构成该训练数据集。4.如权利要求3所述的单目图像深度估计方法，其特征在于，若是针对室内场景的深度估计，则步骤S1中，该数据增强操作还包括：旋转步骤：将该原场景图与对应的该原深度图随机旋转ω∈[-5°,5°]，生成旋转训练样本。5.如权利要求4所述的单目图像深度估计方法，其特征在于，该训练数据集包括该镜像训练样本、该原训练样本、该缩放训练样本、该裁剪训练样本和该图像调整训练样本，且若是针对室内场景的深度估计，则该训练数据集还包括旋转训练样本。6.如权利要求1所述的单目图像深度估计方法，其特征在于，步骤S7中该平均相对局部几何结构误差的计算方法为，首先根据该特征图和其相应深度图计算相对几何特征值，之后除特征图通道数以得到各几何特征平均值，最后通过对该几何特征平均值进行归一化处2CN107204010A权利要求书2/2页理，得到该该平均相对局部几何结构误差。7.如权利要求1所述的单目图像深度估计方法，其特征在于，步骤S8中该损失函数为：其中，λj为可调整的系数，P表示输入场景图，di,分别表示特征图和P对应的深度图中的像素点；