视频重建方法、系统、设备及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111667438A(43)申请公布日2020.09.15(21)申请号201910172717.7(22)申请日2019.03.07(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人盛骁杰(74)专利代理机构上海知锦知识产权代理事务所(特殊普通合伙)31327代理人潘彦君李丽(51)Int.Cl.G06T5/50(2006.01)G06T7/40(2017.01)G06T7/50(2017.01)权利要求书3页说明书29页附图26页(54)发明名称视频重建方法、系统、设备及计算机可读存储介质(57)摘要视频重建方法、系统、设备及计算机可读存储介质，所述方法包括：获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合，包括多个角度同步的多组存在对应关系的纹理图和深度图；根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻相应组的纹理图和深度图；基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将所述相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。上述方案可以减小多自由度视频重建的数据运算量。CN111667438ACN111667438A权利要求书1/3页1.一种视频重建方法，其特征在于，包括：获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图；基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。2.根据权利要求1所述的视频重建方法，其特征在于，所述根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图数据和深度图数据，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图。3.根据权利要求2所述的视频重建方法，其特征在于，所述根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图。4.根据权利要求3所述的视频重建方法，其特征在于，所述根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择用户交互时刻所述视频帧的图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图，包括：根据所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，选择离所述虚拟视点位置最近的2至N个采集设备对应的纹理图和深度图，其中，N为采集所述视频帧的图像组合的所有采集设备的数量。5.根据权利要求1所述的视频重建方法，其特征在于，所述基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像，包括：将选择的用户交互时刻所述视频帧的图像组合中相应组的深度图分别进行前向映射，映射至用户交互时刻的虚拟位置上；对前向映射后的深度图分别进行后处理；将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图分别进行反向映射；将反向映射后所生成的各虚拟纹理图进行融合。6.根据权利要求5所述的视频重建方法，其特征在于，在将反向映射后所生成的各虚拟2CN111667438A权利要求书2/3页纹理图进行融合后，还包括：对融合后的纹理图进行空洞填补，得到所述用户交互时刻虚拟视点位置对应的重建图像。