预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共53页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111669564A(43)申请公布日2020.09.15(21)申请号201910172720.9(22)申请日2019.03.07(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人盛骁杰(74)专利代理机构上海知锦知识产权代理事务所(特殊普通合伙)31327代理人潘彦君李丽(51)Int.Cl.H04N13/117(2018.01)H04N13/106(2018.01)H04N13/156(2018.01)H04N21/218(2011.01)H04N21/472(2011.01)权利要求书3页说明书25页附图24页(54)发明名称图像重建方法、系统、设备及计算机可读存储介质(57)摘要一种图像重建方法、系统、设备及计算机可读存储介质,所述方法包括:获取多角度自由视角的图像组合、所述图像组合的参数数据以及基于用户交互的虚拟视点位置信息,其中,所述图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图;根据所述虚拟视点位置信息及所述图像组合的参数数据,按照预设规则选择用户交互时刻图像组合中相应组的纹理图和深度图;基于所述虚拟视点位置信息及用户交互时刻图像组合中相应组的纹理图和深度图对应的参数数据,将选择的用户交互时刻图像组合中相应组的纹理图和深度图进行组合渲染,得到所述用户交互时刻虚拟视点位置对应的重建图像。采用上述方案可以减小图像重建过程中数据运算量。CN111669564ACN111669564A权利要求书1/3页1.一种图像重建方法,其特征在于,包括:获取多角度自由视角的图像组合、所述图像组合的参数数据以及基于用户交互的虚拟视点位置信息,其中,所述图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图;根据所述虚拟视点位置信息及所述图像组合的参数数据,按照预设规则选择用户交互时刻图像组合中相应组的纹理图和深度图;基于所述虚拟视点位置信息及用户交互时刻图像组合中相应组的纹理图和深度图对应的参数数据,将选择的用户交互时刻图像组合中相应组的纹理图和深度图进行组合渲染,得到所述用户交互时刻虚拟视点位置对应的重建图像。2.根据权利要求1所述的图像重建方法,其特征在于,所述根据所述虚拟视点位置信息及所述图像组合的参数数据,按照预设规则选择用户交互时刻图像组合中相应组的纹理图数据和深度图数据,包括:根据所述虚拟视点位置信息及所述图像组合的参数数据,选择用户交互时刻图像组合中与虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图。3.根据权利要求2所述的图像重建方法,其特征在于,所述根据所述虚拟视点位置信息及所述图像组合的参数数据,选择所述图像组合中与用户交互时刻虚拟视点位置满足预设位置关系和/或数量关系的相应组的纹理图和深度图,包括:根据所述虚拟视点位置信息及所述图像组合的参数数据,选择用户交互时刻图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图。4.根据权利要求3所述的图像重建方法,其特征在于,所述根据所述虚拟视点位置信息及所述图像组合的参数数据,选择用户交互时刻图像组合中离所述虚拟视点位置最近的预设数量的相应组的纹理图和深度图,包括:根据所述虚拟视点位置信息及用户交互时刻图像组合中相应组的纹理图和深度图对应的参数数据,选择离所述虚拟视点位置最近的2至N个采集设备对应的纹理图和深度图,其中,N为采集所述图像组合的所有采集设备的数量。5.根据权利要求1所述的图像重建方法,其特征在于,所述基于所述虚拟视点位置信息及用户交互时刻图像组合中相应组的纹理图和深度图对应的参数数据,将选择的用户交互时刻图像组合中相应组的纹理图数据和深度图数据进行组合渲染,得到所述用户交互时刻虚拟视点位置对应的重建图像,包括:将选择的用户交互时刻图像组合中相应组的深度图分别进行前向映射,映射至用户交互时刻的虚拟位置上;对前向映射后的深度图分别进行后处理;将选择的用户交互时刻图像组合中相应组的纹理图分别进行反向映射;将反向映射后所生成的各虚拟纹理图进行融合。6.根据权利要求5所述的图像重建方法,其特征在于,在将反向映射后所生成的各虚拟纹理图进行融合后,还包括:对融合后的纹理图进行空洞填补,得到所述用户交互时刻虚拟视点位置对应的重建图像。7.根据权利要求5所述的图像重建方法,其特征在于,所述对前向映射后的深度图分别2CN111669564A权利要求书2/3页进行后处理,包括以下至少一种:对前向映射后的深度图分别进行前景边缘保护处理;对前向映射后的深度图分别进行像素级滤波处理。8.根据权利要求5所述的图像重建方法,其特征在于,所述将反向映射后所生成的各虚拟纹理图进行融合,包括:根据所述虚拟视点位置信息