一种DIBR目标图像空洞填充修复处理方法.pdf

(19)中华人民共和国国家知识产权局*CN103369342A*(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103369342103369342A(43)申请公布日2013.10.23(21)申请号201310337601.7(22)申请日2013.08.05(71)申请人重庆大学地址400044重庆市沙坪坝区沙正街174号(72)发明人刘然田逢春谢辉谭迎春谭伟敏李博乐黄振伟曹东华邰国钦(74)专利代理机构重庆博凯知识产权代理有限公司50212代理人张先芸(51)Int.Cl.H04N13/00(2006.01)G06T15/00(2011.01)权权利要求书3页利要求书3页说明书15页说明书15页附图19页附图19页(54)发明名称一种DIBR目标图像空洞填充修复处理方法(57)摘要本发明提供了一种DIBR目标图像空洞填充修复处理方法，其针对左、右两侧中至少一侧相邻的非空像素点为背景像素点的“大空洞”采用了多次局部修复的特殊空洞填充修复方式，在每次进行局部修复的过程中，先通过优先级对比保证了被选定的待修补区块在背景像素分布、梯度、深度分布等方面具备更显著的参数特征，而后在通过基于SSD准则的匹配系数考量像素RGB值以及深度值的关联性来搜索匹配区块时，其搜索的目标性更强、匹配准确性更高，能够较好的保持前景物体的轮廓，避免在前景物体边缘出现伪像重叠失真现象，保证了空洞填充修复纹理的正确传播，大大减少了空洞填充修复区域与背景图像错位、断节、纹理错乱等不符合视觉心理的修复缺陷。CN103369342ACN1036942ACN103369342A权利要求书1/3页1.一种DIBR目标图像空洞填充修复处理方法，其特征在于，包括如下步骤：A）获取作为修复处理对象的DIBR目标图像及其对应的深度图像，并预先设定像素跨度阈值Lbig、区块行像素尺寸参数m和区块列像素尺寸参数n；B）通过对DIBR目标图像中空洞像素点的识别，检测出DIBR目标图像中的各个空洞，并记录每个空洞的横向像素最大跨度，并将所述各个空洞的横向像素最大跨度与预设的像素跨度阈值Lbig进行比较，将横向像素最大跨度小于像素跨度阈值Lbig的空洞标记为第a类空洞，将横向像素最大跨度大于或等于像素跨度阈值Lbig的空洞标记为第b类空洞；C）通过对DIBR目标图像进行前景和背景识别，判断每个第b类空洞左、右两侧相邻的非空像素点是否为前景像素点；若存在左、右两侧相邻的非空像素点均为前景像素点的第b类空洞，将之标记为第b1类空洞；将左、右两侧相邻的非空像素点中至少一侧为背景像素点的第b类空洞和位于DIBR目标图像边界上的第b类空洞均标记为第b2类空洞；D）对于第a类空洞，采用既有的空洞填充方法进行填充修复处理；对于第b1类空洞，采用基于视差图的空洞填充方法进行填充修复处理；对于第b2类空洞，分别对每个第b2类空洞按如下步骤Da）～Dd）所述方式进行填充修复处理：Da）确定该第b2类空洞当前的待修补区块；该步骤具体包括：da1）对该第b2类空洞重新进行空洞区域边缘识别，将与该第b2类空洞当前空洞区域边缘相邻的各非空像素点标记为轮廓像素点，从而由当前标记的各个轮廓像素点相连构成该第b2类空洞当前的非空像素轮廓；da2）确定当前标记的各个轮廓像素点的优先级；其中，当前标记的任意一个轮廓像素点p的优先级P(p)确定为：P(p)=C(p)·[r+s·DA(p)+t·DE(p)]；其中，优先级系数r、s、t均为常数，且s≥r≥t>0；C(p)表示轮廓像素点p的背景置信度系数，且：表示以轮廓像素点p为中心的像素尺寸为m行n列的区块；表示区块中所包含的像素点总数；表示区块中所包含的背景像素点数；DA(p)表示轮廓像素点p的边缘系数，且：np表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的法线方向矢量；表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的等照度方向矢量；DE(p)表示轮廓像素点p的深度系数，且：dmax表示DIBR目标图像对应的深度图像中的最大深度值；表示区块中2CN103369342A权利要求书2/3页的非空像素区域，pun表示非空像素区域中的非空像素点，即Dep(pun)表示非空像素区域中的非空像素点pun在深度图像中对应的深度值；表示区块中所包含的像素点总数；优先级P(p)的值越大，表示轮廓像素点p的优先级越高；da3）比较当前标记的各个轮廓像素点的优先级；若其中优先级最高的轮廓像素点只有一个，将该优先级最高的轮廓像素点标记为待修补目标pst；若其中优先级最高的轮廓像素点有多个，则选择一个优先级最高的轮廓像素点标记为待修补目标pst；da4）将以所述待修补目标pst为中心的像素尺寸为m行n列的区块作为当前的待修补区块Db）在DIBR目标图像中搜索与