一种深度图像空洞的自动填充方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106651871A(43)申请公布日2017.05.10(21)申请号201611031251.1(22)申请日2016.11.18(71)申请人华东师范大学地址200241上海市闵行区东川路500号(72)发明人全红艳孟恬(74)专利代理机构上海蓝迪专利商标事务所(普通合伙)31215代理人徐筱梅张翔(51)Int.Cl.G06T7/11(2017.01)G06T11/40(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种深度图像空洞的自动填充方法(57)摘要本发明公开了一种深度图像空洞的自动填充方法,该方法先将彩色图像作为输入,利用多尺度结构相似性，将深度图像中空洞的像素类型分为平滑区像素和非平滑区像素，对于平滑区像素，利用最短距离深度聚类结果，结合像素间的结构相似性，求解平滑区域像素点的深度值；对于非平滑区像素，为了突出边缘细节信息，采用带有权重项的一阶泰勒展开，估计非平滑区域像素的深度信息。本发明能够实现深度图像空洞的自动分类填充，并且填充后的深度图像具有保持边缘细节的特点，解决了Kinect设备采集中存在深度空洞问题，并能促进三维重建技术的研究及应用。CN106651871ACN106651871A权利要求书1/2页1.一种深度图像空洞的自动填充方法，其特征在于，该方法包括以下具体步骤：步骤1：将空洞分为平滑区空洞和非平滑区空洞计算图像中任意像素与其周围邻域像素的结构相似性，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞；具体地：利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i＝1,2...8)的结构相似性SSIM(p,qi)；其中p的3×3邻域记为B1,qi的3×3邻域记为Bi；αβγSSIM(p,qi)＝[l(B1,Bi)]·[c(B1,Bi)]·[s(B1,Bi)](1)其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B1,Bi)是亮度比较函数,计算为：c(B1,Bi)是对比度比较函数,计算为：s(B1,Bi)是结构比较函数,计算为：其中，和分别是B1和Bi中所有像素灰度的平均值，和分别是B1和Bi中所有像素灰度的方差,σ是B1和Bi之间像素灰度的协方差；22其中C1＝(K1L),C2＝(K2L),K1是常量0.01,K2是常量0.02,L是常量255；然后,计算多尺度结构相似性；具体地，利用B1中各个像素的结构相似性计算p点的多尺度结构相似性MSSIMp：其中N表示p点邻域彩色图像中像素的个数；利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素；若满足MSSIMp>ε，那么p为平滑区空洞像素；若MSSIM<ε,那么p为非平滑区空洞像素；步骤2：对于深度图像中任意平滑区空洞进行填充首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；|dX-dY|<T(6)其中dX表示像素X的深度值，dY表示像素Y的深度值，T表示两像素间深度差异的阈值；空洞像素p的深度F利用公式(7)计算；Ei是有效像素qi的深度,n表示p点邻域中有效像素的个数；步骤3：对于深度图像中任意非平滑区空洞进行填充对于非平滑区域空洞像素点的填充，利用p点的邻域B1中有效像素qi进行求解，求解公2CN106651871A权利要求书2/2页式如下：其中表示有效像素qi深度的梯度,w(p,qi)代表权重项，其计算为：w(p,qi)＝wd(p,qi)wc(p,qi)wm(p,qi)(9)其中wd(p,qi)，wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项；它们的计算分别为：2其中符号||·||表示2-范式；x表示p点的坐标，y表示qi点的坐标；表示当前像素p与邻域像素qi欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差；Ip和分别表示彩色图像中像素p和像素qi的灰度值；表示qi点的多尺度结构相似性。3CN106651871A说明书1/5页一种深度图像空洞的自动填充方法技术领域[0001]本发明涉及深度图像空洞填充技术，从彩色图像的结构相似性出发，求解空洞像素点的多尺度结构相似性，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素，并针对不同的空洞像素，采用不同的填充算法。在平滑区域空洞的填充过程中，利用最短距离聚类算法对深度图像的像素深度进行聚类，并将像素间的结构相似性作为权重，对空洞像素的深度进行求解；对于非平滑区域像素，利用一阶泰勒逼近算法，结合双边滤波权重项的设计，求解平滑区域空洞像素深度值。背景技术[0002]深度图