基于双目RGB-D相机深度轮廓估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108038887A(43)申请公布日2018.05.15(21)申请号201711311829.3(22)申请日2017.12.11(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人杨敬钰蔡常瑞柏井慧侯春萍李坤(74)专利代理机构天津市北洋有限责任专利代理事务所12201代理人刘国威(51)Int.Cl.G06T7/80(2017.01)G06T7/13(2017.01)G06T7/30(2017.01)G06T7/564(2017.01)权利要求书2页说明书5页附图1页(54)发明名称基于双目RGB-D相机深度轮廓估计方法(57)摘要本发明属于计算机视觉领域，为提出生成高质量深度轮廓估计的方法。本发明采取的技术方案是，基于双目RGB-D相机深度轮廓估计方法，RGB-D表示彩色和深度图像。首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。本发明主要应用于计算机视觉场合。CN108038887ACN108038887A权利要求书1/2页1.一种基于双目RGB-D相机深度轮廓估计方法，其特征是，RGB-D表示彩色和深度图像。首先得到低分辨率的深度边缘信息；然后通过相机标定和图像校准操作，得到深度边缘的高分辨率散点图，并进行边缘插值得到高分辨率的连续的深度轮廓；最后，在彩色图像边缘的引导和约束下，对深度轮廓进行矫正优化，生成最终的深度轮廓图像。2.如权利要求1所述的基于双目RGB-D相机深度轮廓估计方法，其特征是，进一步地，具体步骤如下：1)获得低分辨率的深度边缘信息先对其进行去噪和填充操作，采用滤波及双三次插值作为原始深度图像的预处理操作，然后利用canny检测算子提取深度边缘2)生成深度边缘的高分辨率散点图利用借助深度图像校准与预处理得到的相机参数，对原始深度图像进行图像配准，使其具有与彩色图像相同的分辨率，得到高分辨率的深度边缘散点图3)生成高分辨率的连续的深度轮廓针对彩色边缘图像中边缘点的像素位置x，将其邻域N(x)内的边缘信息转换至一维表示的坐标对，即得到坐标散点集X＝xi及点集X对应的值f(xi)；然后对于需要进行差值的位置x，最小化其拟合函数的加权最小二乘误差p(·)：其中，θ(·)代表非负权重函数，∑·是求和运算，||·||为欧几里得距离，经过MLS拟合插值后，进行逆变换即一维转换为二维，得到连续的深度轮廓图像4)生成高分辨率的深度图像DL联合使用非线性变换及canny检测算子提取彩色图像边缘，以避免单独使用canny检测算子出现的过度细致纹理，完成深度图像的视点配准，得到高分辨率的深度图像DL；5)联合深度散点-彩色边缘，对深度轮廓矫正优化：其中，x是彩色边缘图像中边缘点的像素位置，Nd(x)、分别对应该位置在主视点深度图像DL、高分辨率深度轮廓图像彩色边缘图像Ec中的邻域区域；T(·)代表二维转换为一维的变换操作；G(·)为高斯核，代表彩色边缘约束项，为梯度运算，公式(2)的物理意义为若同一像素位置处的深度轮廓和彩色边缘具有相同变化趋势即曲率，则认为该像素点是深度轮廓点的可能性较大，其中，R(·)代表了主视点深度图像对应的约束项，定义为：其中，i,j＝1,2,3,4代表邻域Nd(x)的上、下、左、右四个子区域，Nth1和Dth1分别为有效深度值总数量和深度均值差异的阈值，该约束项表示，在四个邻域子区域中，只要有任意两个2CN108038887A权利要求书2/2页子区域具有相似的有效深度值数量和深度均值，那么就认为该邻域是深度平滑区域，即该邻域范围内不存在深度轮廓，那么该像素位置不应存在深度轮廓信息，即Ed(x)＝0。3CN108038887A说明书1/5页基于双目RGB-D相机深度轮廓估计方法技术领域[0001]本发明属于计算机视觉领域。特别涉及基于双目RGB-D相机深度轮廓估计算法。背景技术[0002]深度的获取是工业界与学术界关注的重点。目前，有已经有很多方法用于完成高质量深度图像的获取，主要分为两类，其中一种是被动获取，例如立体匹配、2D-3D转换技术、彩色相机阵列等。然而，这些方法都是基于推断的，是从彩色图像的结构信息中估计深度，并不是对深度进行直接测量，这种方法往往会产生错误的深度估计结果。另一种是主动方式，即：直接获取深度图像。随着Kinect、可测深度摄像头TOFcamera等深度相机的出现，人们更倾向于使用深度相机直接获取场景的深度信息。Kinect是微软在2009年6月2日的E3大展上，正式公布的XBOX360体感周边外设