图像处理方法、图像处理装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109903321A(43)申请公布日2019.06.18(21)申请号201811360744.9(22)申请日2018.11.15(30)优先权数据16/161,4722018.10.16US(71)申请人迈格威科技有限公司地址美国华盛顿州(72)发明人王珏张哲斌(74)专利代理机构北京市柳沈律师事务所11105代理人彭久云(51)Int.Cl.G06T7/55(2017.01)G06T7/13(2017.01)G06T5/00(2006.01)权利要求书2页说明书12页附图6页(54)发明名称图像处理方法、图像处理装置及存储介质(57)摘要一种图像处理方法、图像处理装置及存储介质。该图像处理方法包括：获取针对同一画面的深度图与目标图像，该画面中包括待处理对象；基于目标图像获取在画面中的待处理对象的轮廓；基于待处理对象的轮廓确定深度图中的待修复区域；优化深度图中的待修复区域的像素的深度值。该图像处理方法可以对深度图中的待修复区域进行优化，修正深度图中存在的质量问题。CN109903321ACN109903321A权利要求书1/2页1.一种图像处理方法，包括：获取针对同一画面的深度图与目标图像，所述画面中包括待处理对象；基于所述目标图像获取在所述画面中的所述待处理对象的轮廓；基于所述待处理对象的轮廓确定所述深度图中的待修复区域；优化所述深度图中的待修复区域的像素的深度值。2.根据权利要求1所述的图像处理方法，其中，所述深度图中的待修复区域包括目标轮廓区域，确定所述深度图中的待修复区域包括：设定预设阈值；判断所述深度图中的像素到所述待处理对象的轮廓的距离是否小于所述预设阈值；将所述深度图中与所述待处理对象的轮廓的距离小于所述预设阈值的像素所在的区域作为所述目标轮廓区域。3.根据权利要求1所述的图像处理方法，还包括：基于所述深度图的深度信息确定所述深度图中的待修复区域。4.根据权利要求3所述的图像处理方法，其中，所述深度图中的待修复区域包括所述深度图中的深度信息缺失区域，确定所述深度图中的待修复区域还包括：判断所述深度图中的像素的显示灰度是否为全黑或者是否为全白；将所述深度图中显示灰度为全黑或全白的像素所在的区域作为所述深度信息缺失区域。5.根据权利要求1所述的图像处理方法，其中，将所述深度图的图像梯度设定为与所述目标图像的图像梯度一致，由此优化所述深度图中的待修复区域的像素的深度值。6.根据权利要求1所述的图像处理方法，其中，优化所述深度图中的待修复区域的像素的深度值包括：其中，D表示所述深度图中的待修复区域的像素的优化深度值，∩表示所述深度图中的待修复区域，表示所述深度图中的待修复区域的边界，表示位于所述深度图中的待修复区域的边界处的像素的深度值，L为N*N的关联矩阵，N、m、l均为大于1的整数。7.根据权利要求6所述的图像处理方法，其中，所述关联矩阵表示为：其中，Lij表示所述关联矩阵L中的第(i,j)个元素，∑k表示3*3的协方差矩阵，wk表示以像素k为中心的窗口，μk表示窗口wk中的像素深度值的均值向量，I3表示3*3的单位矩阵，Ii和Ij分别表示图像I在第i个像素和第j个像素处的像素值，ε表示控制参数，δij表示克罗内科尔函数，i，j均为大于1的整数。8.根据权利要求1所述的图像处理方法，还包括：对所述深度图中所述待处理对象所在的区域进行平滑滤波；对所述深度图中所述待处理对象以外的背景区域进行平滑滤波。9.根据权利要求8所述的图像处理方法，其中，对所述深度图中所述待处理对象所在的2CN109903321A权利要求书2/2页区域进行平滑滤波包括：采用双边滤波法对所述目标图像中所述待处理对象所在的区域进行保边平滑滤波，并获得所述深度图中所述待处理对象所在的区域的引导图像；基于所述引导图像，采用引导滤波法对所述深度图中所述待处理对象所在的区域进行平滑滤波。10.根据权利要求9所述的图像处理方法，其中，所述引导滤波法的表达式表示为：其中，q表示所述深度图中所述待处理对象所在的区域经过所述引导滤波后的输出图像，I表示所述引导图像，p表示输入图像，Wij(I)表示滤波器的核权重参数。11.根据权利要求8-10任一所述的图像处理方法，还包括：将所述深度图中经过所述平滑滤波后的所述待处理对象所在的区域和经过所述平滑滤波后的所述待处理对象以外的背景区域融合在一起。12.一种图像处理装置，包括：图像获取单元，配置为获取针对同一画面的深度图与目标图像，所述画面中包括待处理对象；轮廓获取单元，配置为基于所述目标图像获取在所述画面中所述待处理对象的轮廓；待修复区域确定单元，配置为基于所述待处理对象的轮廓确定所述深度图中的待修复区域；以及优化单元，配置为优化所述深度图