一种数据驱动的物体图像修复系统及方法.pdf

(19)中华人民共和国国家知识产权局*CN102831584A*(12)发明专利申请(10)申请公布号CN102831584A(43)申请公布日2012.12.19(21)申请号201210274489.2(22)申请日2012.08.02(71)申请人中山大学地址510000广东省广州市海珠区新港西路135号(72)发明人高成英林倞王淮(74)专利代理机构广州市越秀区海心联合专利代理事务所(普通合伙)44295代理人马丽丽(51)Int.Cl.G06T5/00(2006.01)权利要求书权利要求书2页2页说明书说明书77页页附图附图44页(54)发明名称一种数据驱动的物体图像修复系统及方法(57)摘要本发明的一种数据驱动的物体图像修复系统及方法，属于图像修复技术领域。本发明的第一个目的是提供一种物体图像修复系统，包括依次连接的用户交互模块、物体匹配模块、形状修复模块和纹理修复模块以及独立的物体图像数据库和数据库标注模块；本发明的第二个目的是提供一种数据驱动的物体图像修复方法框架，包括以下步骤：数据预处理、轮廓与修复区域的标示、物体匹配、形状修复、纹理修复、数据后处理。本发明通过各模块的协同工作，克服了现有图像修复方法无法解决的物体缺失部分形状信息无法启发式推导、缺失部分无法在原图像中采样修复等问题，很好地对物体图像进行修复。CN1028354ACN102831584A权利要求书1/2页1.一种数据驱动的物体图像修复系统，其特征在于：包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块；所述用户交互模块采用鼠标或数位板作为输入外设，用于在修复图片上标示修复区域和待修复物体的轮廓；所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中搜索具有最相似轮廓和颜色的物体的匹配图像；所述形状修复模块利用轮廓匹配模块搜索到的匹配图像，在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典，通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复；所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域，采用优先度引导的贪婪修复算法（即每修复一个图像分块时，都全局搜索一个最优的样本分块）进行纹理修复；所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作，消除人工修复痕迹；所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集，数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像；所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。2.根据权利要求1所述的所述用户交互模块，其特征在于：通过采用人工干预的智能前背景分离技术，可对待修复物体轮廓实现半自动化标示，即用户通过拖拽一个矩形选框包围住目标物体就能自动发现物体轮廓并进行标示，降低用户标示待修复物体轮廓工作的复杂性；3.根据权利要求1所述的物体匹配模块，其特征在于：通过增加对物体纹理的分析，可实现在带标注图像数据库中，通过轮廓匹配、颜色匹配、纹理匹配等技术，搜索轮廓、颜色、纹理与待修复图像最相似的匹配图像；4.根据权利要求3所述的轮廓匹配，通过采用自包含的、尺度无关的轮廓描述子对每一个轮廓进行描述，并且使用该描述子可以对两个轮廓的相似度进行量化，使得物体匹配模块能够通过该描述子找到与待修复物体轮廓相似度最高的匹配图像；5.根据权利要求4所述的匹配图像，用于采样组建样本字典作为形状修复模块的输入，由于所述轮廓匹配方法采用的是尺度无关的技术，当匹配图像与待修复物体尺寸不同时，会影响修复效果，此时可以通过对匹配图像进行缩放，寻找最优的缩放尺寸；6.根据权利要求1所述的形状修复模块，通过在待修复轮廓上构建马尔科夫随机场并定义一个能量方程，约束随机场每一个节点上的图像分块满足分块之间颜色连续、每个节点上的分块与该节点的结构信息一致，将形状修复问题转换成随机场各节点的标号问题（每个标号对应样本字典中的一个样本分块），并求解使得能量方程达到最小的标号方案，再将对应标号的样本分块通过纹理合成技术合成到待修复轮廓上完成形状修复；采用寻找最优分割的方法，在两个相邻分块的重叠部分找到一条颜色差异最小的路径，通过这条路径进行分块分割并融合，消除直接覆盖分块造成的人工修复痕迹；2CN102831584A权利要求书2/2页7.根据权利要求1所述的纹理修复模块，采用的是逐步求局部最优解的贪婪算法，这种方法能很好修复自然纹理，但是对强规则性的纹理，例如斑马条纹，的修复效果比较一般。这里可以采用其他求解全局最优的修复方法，例如基于马尔科夫随机场的修复方法，改善修复效果。8.根据权利要求1所述