基于置信度的深度图融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105701787A(43)申请公布日2016.06.22(21)申请号201610026936.0(22)申请日2016.01.15(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人刘怡光董鹏飞曹丽萍(51)Int.Cl.G06T5/50(2006.01)G06T7/00(2006.01)G06T17/00(2006.01)权利要求书1页说明书3页(54)发明名称基于置信度的深度图融合方法(57)摘要本发明提出了一种基于置信度的深度图融合方法。由于匹配信息弱或噪声影响，深度计算精度难以保证，从而导致深度图融合变得困难。为此，本发明提出了一种基于置信度的抗噪融合算法。该方法首先对每幅深度图进行修正，利用一致性检测剔除大多数错误点并填补某些空洞。其次，通过保留那些在自身邻域内具有最高置信度的三维点以删除冗余。最后，将深度图反投影到三维空间，采用迭代最小二乘法进一步优化三维点并剔除离群点。通过在标准测试数据集上与其他算法比较，验证了该方法的有效性。CN105701787ACN105701787A权利要求书1/1页1.一种基于置信度的深度图融合方法，该方法针对基于深度融合的三维重建中存在的问题，提出了一种基于置信度的深度图融合方法，该方法充分考虑深度图之间的一致性，并以此为基础对原始深度图进行修正，同时，又依据影响深度计算的各种因素获得每个三维点的置信度，从而删除冗余信息，最后，从整体考虑对三维模型进行过滤，提高模型的重建精度，具体步骤为：1)获取待定深度，通过一系列投影与反投影获得与每个像素点相关的待定深度2)一致性检测，通过下述公式获得在某个像素点处的一致性比率3)深度值更新，通过下述公式并利用(1)(2)对一致性比率大于特定值的深度进行更新4)空洞填补，通过下述公式对深度图中无深度信息的像素点进行填补5)定义置信度，通过匹配误差、场景离摄像机中心的距离以及场景视角等因素定义三维点的置信度6)删除冗余，通过保留那些在自身邻域内具有最高置信度的三维点以删除冗余7)深度图融合，首先对原始点云进行降采样，降低算法复杂度，通过迭代最小二乘法从整体对点云进行过滤结合以上所有信息对深度图进行融合。2CN105701787A说明书1/3页基于置信度的深度图融合方法技术领域[0001]本发明设计一种深度图融合方法，该方法是一种基于置信度的深度图融合方法。背景技术[0002]多目立体视觉(MultipleViewStereo,MVS)三维重建的目的是通过多幅图像恢复出场景的三维模型，它是计算机视觉领域中一个非常重要的研究课题，并已受到越来越多的关注，MVS算法可以分为基于体素的方法、基于特征点扩展的方法、基于表面演化的方法和基于深度图融合的方法四类，在这些算法中，基于深度图融合的方法具有更高的灵活性，更适用于大多数场景的三维重建。[0003]基于深度图融合的三维重建算法一般包含两个步骤：深度图计算和深度图融合，目前，已有许多研究者，比如Goesele、Bradley等，在深度图计算方面做出了杰出的工作，但值得注意的是，三维模型重建精度直接依赖于深度图的计算精度，而由于受到摄像机噪声、图像畸变以及匹配误差等因素的影响，深度图的计算不可能达到很高的准确性，导致三维模型与实际情况有偏差。发明内容[0004]提出了一种基于置信度的深度图融合方法，可以比较准确地融合被噪声干扰的深度图，该方法充分考虑深度图之间的一致性，并以此为基础对原始深度图进行修正，同时，又依据影响深度计算的各种因素获得每个3D点的置信度，从而删除冗余信息，最后，从整体考虑对三维模型进行过滤，提高模型的重建精度，该方法将图像序列以及对应的深度图和摄像机参数作为输入，最终输出一个具有法向量的稠密三维点云，该方法包含三个步骤。[0005](1)深度图修正，由于深度的计算误差，原始深度图可能不会完全与其他深度图在共有区域相匹配，因此就需要对原始深度进行修正增强一致性，将待修正深度图所对应的图像作为参考图像，记为R选出与之相关联的图像集，记为CR为描述方便，设PI(p)为图像I中p像素点所对应的3D点，DJ(PI(p))为PI(p)相对于图像J的深度，对于参考图像R中的每个像素位置pr，可以获得三个与之相关的3D点PR(pr)，PI(pi)，PI(pr→i)，其中I表示CR中某一图像，为获得PR(pr)，将pr处像素点根据深度值反投影到三维空间，为获得PI(pi)，将图像I中所有像素点反投影到三维空间，将能投影到pr处并且距离图像R最近的3D点作为PI(pi)，为获取PI(pr→i)，将PR(pr)投影到图像I中得到投影点pr→i，然后将此点反投影到三维空间获得PI(pr→i)，最