增强现实的图像展示方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109615703A(43)申请公布日2019.04.12(21)申请号201811142256.0(22)申请日2018.09.28(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人周岳峰(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人林祥(51)Int.Cl.G06T19/00(2011.01)权利要求书2页说明书10页附图4页(54)发明名称增强现实的图像展示方法、装置及设备(57)摘要本说明书实施例提供一种增强现实的图像展示方法、装置及设备，本说明书实施例获取人物摄像模块所采集的人物图像，利用人物图像中的人眼区域与其所在图像的关系，确定人眼与人物摄像模块的相对位置；并至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；以人眼位置信息作为渲染参数中场景摄像模块的位置信息，并对三维模型进行渲染，获得投影在显示屏幕上的投影图像，实现将增强现实展示内容由摄像模块视角的投影图像更改为人眼视角的投影图像，使投影图像跟随人眼位置的变更而变更。CN109615703ACN109615703A权利要求书1/2页1.一种增强现实的图像展示方法，所述方法包括：获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。2.根据权利要求1所述的方法，所述方法应用于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。3.根据权利要求1所述的方法，所述三维模型的构建步骤包括：利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。4.根据权利要求1至3任一项所述的方法，所述至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息，包括：获取人物摄像模块和场景摄像模块的相对位置；利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。5.根据权利要求1至3任一项所述的方法，所述方法还包括：在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。6.一种增强现实的图像展示装置，所述装置包括：相对位置确定模块，用于：获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；人眼位置确定模块，用于：至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；图像渲染模块，用于：以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。7.根据权利要求6所述的装置，所述装置设于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。8.根据权利要求6所述的装置，所述装置还包括三维模型构建模块，用于：利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。9.根据权利要求6至8任一项所述的装置，所述人眼位置确定模块，具体用于：获取人物摄像模块和场景摄像模块的相对位置；2CN109615703A权利要求书2/2页利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。10.根据权利要求6至8任一项所述的装置，所述装置还包括位置判断模块，用于：在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述方法。3CN1096