基于单张图像构建三维网格的方法、装置和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110415351A(43)申请公布日2019.11.05(21)申请号201910543756.3(22)申请日2019.06.21(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人杨骏锋范浩强(74)专利代理机构北京市磐华律师事务所11336代理人高伟卜璐璐(51)Int.Cl.G06T17/20(2006.01)权利要求书2页说明书15页附图2页(54)发明名称基于单张图像构建三维网格的方法、装置和系统(57)摘要本发明提供一种基于单张图像构建三维网格的方法、装置和系统。该方法包括：确定输入图像对应的深度图像中存在遮挡的位置；以及在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。根据本发明实施例的基于单张图像构建三维网格的方法、装置和系统将图像中存在遮挡的位置处的原始面片连接关系断开，并针对被遮挡部分构建网格，可以有效去除明显的拉伸效应，改善视觉效果。CN110415351ACN110415351A权利要求书1/2页1.一种基于单张图像构建三维网格的方法，其特征在于，所述方法包括：确定输入图像对应的深度图像中存在遮挡的位置；以及在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。2.根据权利要求1所述的方法，其特征在于，所述针对所述存在遮挡的位置处的背景部分构建网格包括：在针对所述存在遮挡的位置处的背景部分构建面片时，每当需被构建面片的位置已被占据时则新建一层网格以用于构建面片。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在针对所述存在遮挡的位置处的背景部分构建面片之前，确定被遮挡部分需要构建面片的最大值。4.根据权利要求1-3中的任一项所述的方法，其特征在于，所述确定输入图像对应的深度图像中存在遮挡的位置包括：针对所述深度图像中的每一个像素点，计算所述像素点与其相邻像素点之间的深度差；以及如果所述像素点与其任一相邻像素点之间的深度差大于预设阈值，则确定所述像素点在往所述任一相邻像素点的方向存在遮挡。5.根据权利要求4所述的方法，其特征在于，所述像素点的相邻像素点包括所述像素点的上下左右四个方向的相邻像素点。6.根据权利要求4所述的方法，其特征在于，所述在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格包括：断开所述像素点与所述任一相邻像素点之间的面片连接关系，并在所述像素点往所述任一相邻像素点的方向扩展顶点以构建网格，直到所述像素点往所述任一相邻像素点的方向不再存在遮挡。7.根据权利要求6所述的方法，其特征在于，在所述像素点往所述任一相邻像素点的方向扩展顶点包括：每往所述方向扩展一个顶点，确定所述顶点是否能与所述顶点相邻的像素点连接或确定是否已经达到所述方向的最大扩展边界；如果确定所述顶点能与所述顶点相邻的像素点连接或确定已经达到所述方向的最大扩展边界，则所述方向扩展结束，如此迭代，直到每个像素点的所有存在遮挡的方向均扩展结束。8.根据权利要求7所述的方法，其特征在于，所述在所述像素点往所述任一相邻像素点的方向扩展顶点还包括：在每往所述方向扩展一个顶点之前，确定要被扩展顶点的位置是否已被其他点占据，如果已被占据，则新建一层网格进行顶点扩展。9.根据权利要求7所述的方法，其特征在于，所述方向的最大扩展边界基于拍摄所述输入图像的相机的成像模型、所述相机的内部参数以及用于模拟所述相机的位置变化幅度的预设参数而确定。10.一种基于单张图像构建三维网格的装置，其特征在于，所述装置包括：2CN110415351A权利要求书2/2页计算模块，用于确定输入图像对应的深度图像中存在遮挡的位置；以及构建模块，用于在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。11.一种基于单张图像构建三维网格的系统，其特征在于，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-9中的任一项所述的基于单张图像构建三维网格的方法。12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-9中的任一项所述的基于单张图像构建三维网格的方法。3CN110415351A说明书1/15页基于单张图像构建三维网格的方法、装置和系统技术领域[0001]本发明涉及图像处理技术领域，更具体地涉及一种基于单张图像构建三维网格的方法、装置、系统和存储介质。背景技术[0002]三维(3D)相册