用于显示虚拟对象的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110633009A(43)申请公布日2019.12.31(21)申请号201910541176.0(22)申请日2019.06.21(30)优先权数据1810270.72018.06.22GB(71)申请人索尼互动娱乐股份有限公司地址日本东京都(72)发明人D.E.D.乌贝蒂(74)专利代理机构北京市柳沈律师事务所11105代理人张晓明(51)Int.Cl.G06F3/01(2006.01)H04N5/232(2006.01)G02B27/01(2006.01)权利要求书2页说明书10页附图5页(54)发明名称用于显示虚拟对象的方法和系统(57)摘要一种用于显示虚拟对象的系统，包括：用于显示环境的显示设备；摄影机，其中该摄影机可操作以捕获用户环境的区域的视频图像，视频图像中的区域的尺寸大于在显示设备处可视的环境的区域的尺寸；运动预测器，其可操作以预测摄影机的运动；场景处理器，其可操作以识别和处理所捕获的视频图像的一部分作为预测运动的结果，该捕获的视频图像的一部分对应于预计在显示设备处可视的环境的区域；图像生成器，被配置为从场景处理器接收输入，并且响应于该输入生成用于在显示设备显示的虚拟对象；并且其中图像生成器被配置为响应于预测运动的检测输出用于显示的虚拟对象。CN110633009ACN110633009A权利要求书1/2页1.一种用于显示虚拟对象的系统，所述系统包括：用于显示环境的显示设备；摄影机；其中，所述摄影机可操作以捕获用户环境的区域的视频图像，所述视频图像中的所述区域的尺寸大于在所述显示设备处可视的环境的区域的尺寸；运动预测器，其可操作以预测所述摄影机的运动；场景处理器，其可操作以识别和处理捕获的视频图像的一部分作为所述预测运动的结果，所述捕获的视频图像的一部分对应于预计在所述显示设备处可视的环境的区域；图像生成器，被配置为从所述场景处理器接收输入，并且响应于所述输入生成用于在所述显示设备显示的虚拟对象；并且其中，所述图像生成器被配置为响应于所述预测运动的检测输出用于显示的所述虚拟对象。2.根据权利要求1所述的系统，其中，所述系统包括两个摄影机，每个摄影机被配置为捕获所述环境的至少部分不同的区域的图像；其中，在所述显示设备处可视的所述环境的区域小于由所述两个摄影机捕获的区域；并且其中，所述场景处理器被配置为处理在所述显示设备处可视的所述环境的区域之外的区域的视频图像数据。3.根据权利要求1所述的系统，其中，所述场景处理器被配置为确定所述捕获的视频图像的部分中的照明条件；并且其中，所述图像生成器被配置为生成好像曝光在这些照明条件下的所述虚拟对象。4.根据权利要求1所述的系统，其中，所述场景处理器被配置为检测所述捕获的视频图像的部分中的至少一个物理对象；并且其中，所述图像生成器被配置为响应于检测到的至少一个物理对象生成虚拟对象。5.根据权利要求4所述的系统，其中，所述场景处理器被配置为确定所述至少一个物理对象的相对位置和深度；并且其中，所述图像生成器被配置为生成具有遮挡的所述虚拟对象，所述遮挡取决于所述至少一个物理对象的所述相对位置和深度。6.根据权利要求4所述的系统，其中，所述图像生成器被配置为生成动画的虚拟对象，所述动画对应于所述虚拟对象和所述至少一个物理对象之间的虚拟交互。7.根据权利要求1所述的系统，其中，所述运动预测器包括注视方向检测器，其可操作以检测所述用户的注视方向；并且其中，所述运动预测器被配置为基于检测到的所述用户的注视方向的变化预测所述显示设备的运动。8.根据权利要求1所述的系统，其中，所述系统包括运动检测器，其可操作以检测所述显示设备的运动；并且其中，所述运动预测器被配置为基于由所述运动检测器检测到的所述显示设备的运动，预测所述显示设备的运动。9.根据权利要求1至8中任一项所述的系统，其中所述运动预测器被配置为检测所述捕2CN110633009A权利要求书2/2页获的视频图像中的一个或多个物理对象；并且其中，所述运动预测器被配置为基于检测到的所述一个或多个物理对象预测所述显示设备的运动。10.根据权利要求9所述的系统，其中，所述运动预测器被配置为通过计算机视觉或机器学习来检测所述一个或多个物理对象。11.根据权利要求1所述的系统，其中，所述运动预测器被配置为接收指示所述显示设备的运动的运动数据、以及指示所述捕获的视频图像的内容的图像数据；并且其中，所述运动预测器包括机器学习算法，所述机器学习算法被训练以基于所述捕获的视频图像的内容来预测所述显示设备的运动。12.根据权利要求11所述的系统，其中，所述系统包括训练单元，其可操作以训练所述机器学习算法，所述训练被配置为从多个不同的显示设备接收运动数据和由所述显示设备捕获的视频