虚拟视点图像生成方法、系统、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112738495A(43)申请公布日2021.04.30(21)申请号201911032857.0(22)申请日2019.10.28(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人盛骁杰(74)专利代理机构上海知锦知识产权代理事务所(特殊普通合伙)31327代理人潘彦君(51)Int.Cl.H04N13/167(2018.01)H04N13/161(2018.01)H04N13/366(2018.01)H04N13/398(2018.01)权利要求书2页说明书53页附图24页(54)发明名称虚拟视点图像生成方法、系统、电子设备及存储介质(57)摘要虚拟视点图像生成方法、系统、电子设备及存储介质，所述方法包括：获取多角度自由视角的图像组合、所述图像组合的参数数据以及预设的虚拟视点路径数据；根据所述预设的虚拟视点路径数据及所述图像组合的参数数据，从图像组合中选择虚拟视点路径中各虚拟视点的相应组的纹理图和深度图；将各虚拟视点的相应组的纹理图和深度图输入至图形处理器中，针对虚拟视点路径中各虚拟视点，以像素点为处理单位，由多个线程分别将选择的图像组合中相应组的纹理图和深度图中的像素点进行组合渲染，得到所述虚拟视点对应的图像。上述方案可以提升数据处理速度，满足多角度自由视角视频低时延播放和实时互动的需求。CN112738495ACN112738495A权利要求书1/2页1.一种虚拟视点图像生成方法，其特征在于，包括：获取多角度自由视角的图像组合、所述图像组合的参数数据以及预设的虚拟视点路径数据，其中，所述图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；根据所述预设的虚拟视点路径数据及所述图像组合的参数数据，从图像组合中选择虚拟视点路径中各虚拟视点的相应组的纹理图和深度图；将各虚拟视点的相应组的纹理图和深度图输入至图形处理器中，针对虚拟视点路径中各虚拟视点，以像素点为处理单位，由多个线程分别将选择的图像组合中相应组的纹理图和深度图中的像素点进行组合渲染，得到所述虚拟视点对应的图像。2.根据权利要求1所述的虚拟视点图像生成方法，其特征在于，所述针对虚拟视点路径中各虚拟视点，以像素点为处理单位，由多个线程分别将选择的图像组合中相应组的纹理图和深度图中的像素点进行组合渲染，包括：将相应组的深度图并行地进行前向映射，映射至所述虚拟视点上；对前向映射后的深度图并行地进行后处理；将相应组的纹理图并行地进行反向映射；将反向映射后所生成的各虚拟纹理图中的像素并行地进行融合。3.根据权利要求2所述的虚拟视点图像生成方法，其特征在于，所述将相应组的深度图并行地进行前向映射，映射至所述虚拟视点上，包括：在所述图形处理器上运行第一核心函数，将相应组的深度图中的像素并行地进行前向映射，映射至对应的虚拟视点位置上，其中：对于多个映射到虚拟视点同一个像素的深度值，采用原子操作，取像素值最大的值，得到对应的虚拟视点位置的第一深度图；基于所述虚拟视点位置的第一深度图，创建所述虚拟视点位置的第二深度图，对于所述第二深度图中的每一个像素并行处理，取所述第一深度图中对应像素位置周围预设区域的像素点的最大值。4.根据权利要求2所述的虚拟视点图像生成方法，其特征在于，所述对前向映射后的深度图并行地进行后处理，包括：在所述图形处理器上运行第二核心函数，对前向映射后得到的第二深度图中的每一像素，在所述像素的位置周围预设区域进行中值滤波处理。5.根据权利要求2所述的虚拟视点图像生成方法，其特征在于，所述将相应组的纹理图并行地进行反向映射，包括：在所述图形处理器上运行第三核心函数，将选择的相应组的纹理图中的像素并行地进行插值运算，生成对应的虚拟纹理图。6.根据权利要求2所述的虚拟视点图像生成方法，其特征在于，所述将反向映射后所生成的各虚拟纹理图中的像素并行地进行融合，包括：在所述图形处理器上运行第四核心函数，将反向映射后所生成的各虚拟纹理图中的同一位置的像素，并行地进行加权融合。7.根据权利要求2至6任一项所述的虚拟视点图像生成方法，其特征在于，在将反向映射后所生成的各虚拟纹理图中的像素并行地进行融合之后，还包括：对加权融合后的纹理图中的各像素并行地进行空洞填补，得到所述虚拟视点对应的图像。2CN112738495A权利要求书2/2页8.根据权利要求1所述的虚拟视点图像生成方法，其特征在于，所述将各虚拟视点的相应组的纹理图和深度图输入至图形处理器中，包括：将所述虚拟视点路径中的各虚拟视点的相应组的纹理图和深度图分别输入至多个图形处理器中，各图形处理器并行处理，生成多个虚拟视点图像。9.一种虚拟视点图像生成系统，其特征在于，包括：中央处理器，适于获取