虚拟视点深度图处理方法、设备、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112581389A(43)申请公布日2021.03.30(21)申请号202011419908.8(22)申请日2020.12.04(71)申请人北京大学深圳研究生院地址518000广东省深圳市南山区西丽镇丽水路深圳大学城北大校区(72)发明人王荣刚刘香凝王振宇蔡砚刚(74)专利代理机构深圳市恒程创新知识产权代理有限公司44542代理人苗广冬(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书14页附图3页(54)发明名称虚拟视点深度图处理方法、设备、装置及存储介质(57)摘要本发明公开了一种虚拟视点深度图处理方法、设备、装置及存储介质，本申请通过将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，利用预设滤波方法对所述虚拟视点深度图进行平滑处理，保留了深度图的边缘信息，将所述平滑处理后的虚拟视点深度图反向映射到所述预设参考视点的位置，以合成基于不同预设参考视点的虚拟视点纹理图，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，提高了虚拟视点深度图的质量。CN112581389ACN112581389A权利要求书1/2页1.一种虚拟视点深度图处理方法，其特征在于，所述虚拟视点深度图处理方法，包括以下步骤：将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。2.如权利要求1所述的虚拟视点深度图处理方法，其特征在于，所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图的步骤，包括：根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。3.如权利要求1所述的虚拟视点深度图处理方法，其特征在于，所述根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图的步骤，包括：将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。4.如权利要求1所述的虚拟视点深度图处理方法，其特征在于，所述对所述虚拟视点纹理图进行加权融合的步骤，包括：确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；根据所述第一位置与所述第二位置的位置关系，确定第一权重；确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。5.如权利要求4所述的虚拟视点深度图处理方法，其特征在于，所述确定所述虚拟相机位置的深度值置信度的步骤，包括：从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；2CN112581389A权利要求书2/2页根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。6.如权利要求1所述的虚拟视点深度图处理方法，其特征在于，所述对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理的步骤，包括：从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；利用第三预设算法，对所述第二窗口中的像