用于沉浸式和交互式多媒体生成的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106062862A(43)申请公布日2016.10.26(21)申请号201580005780.1(74)专利代理机构北京律恒立业知识产权代理(22)申请日2015.10.23事务所(特殊普通合伙)11416(30)优先权数据代理人顾珊庞立岩62/0684232014.10.24US(51)Int.Cl.(85)PCT国际申请进入国家阶段日G09G5/00(2006.01)2016.08.11(86)PCT国际申请的申请数据PCT/US2015/0001162015.10.23(87)PCT国际申请的公布数据WO2016/064435EN2016.04.28(71)申请人何安莉地址美国加利福尼亚州圣何塞努恩斯大道2039号申请人费越(72)发明人费越何安莉权利要求书2页说明书12页附图14页(54)发明名称用于沉浸式和交互式多媒体生成的系统和方法(57)摘要本发明公开一种设备。所述设备包括光学感测系统，其包括至少一个相机，所述至少一个相机被配置为获取物理环境的图像。所述设备还包括处理系统。所述处理系统包括取向和位置确定模块，其被配置为从所述图像检测显著特征，并且基于所述所检测到的显著特征确定所述设备相对于所述物理环境的取向和/或位置变化。所述处理系统还包括渲染模块，其被配置为基于所述图像和所述设备的所述所确定的取向和/或位置变化来确定所述物理环境的渲染，并且将与所述物理环境的所述渲染有关的数据提供给显示系统。CN106062862ACN106062862A权利要求书1/2页1.一种设备，包括：光学感测系统，其包括至少一个相机，所述至少一个相机被配置为获取物理环境的图像；处理系统，其包括：取向和位置确定模块，其被配置为：从所述图像检测显著特征，并且基于所述所检测到的显著特征确定所述设备相对于所述物理环境的取向和/或位置变化；以及渲染模块，其被配置为：基于所述图像和所述所确定的所述设备的取向和/或位置变化来确定所述物理环境的渲染，并且将与所述物理环境的所述渲染有关的数据提供给显示系统。2.根据权利要求1所述的设备，其中：所述光学感测系统包括第一相机和第二相机，所述第一相机被配置为获取所述物理环境的第一图像，并且所述第二相机被配置为获取所述物理环境的第二图像；所述取向和位置确定模块被配置为：当所述设备在所述物理环境中处于第一位置时，从所述第一图像和第二图像检测第一显著特征，确定与所述第一显著特征相关联的第一组坐标，当所述设备在所述物理环境中处于第二位置时，从所述第一图像和第二图像检测第二显著特征，确定与所述第二显著特征相关联的第二组坐标，并且响应于确定所述第一显著特征和第二显著特征彼此对应，基于所述第一组和第二组坐标来确定所述设备相对于所述物理环境的取向和/或位置变化；并且所述渲染模块被配置为基于所述第一图像和第二图像并且基于所述设备的所述所确定的取向和/或位置变化来确定所述物理环境的立体渲染。3.根据权利要求2所述的设备，其中所述第一相机和第二相机中的每一者包括红-绿-蓝-红外(RGB-IR)像素传感器。4.根据权利要求1所述的设备，其中所述光学感测系统包括第一相机、第二相机和反射镜，所述第一相机被配置为获取红外(IR)图像，所述第二相机被配置为获取红-绿-蓝(RGB)图像，并且所述反射镜被配置为将IR光反射离开所述第二相机并且将所述IR图像与所述RGB图像对齐。5.根据权利要求4所述的设备，其中所述第一相机是飞行时间相机。6.根据权利要求4所述的设备，其中所述第一相机是IR相机。7.根据权利要求1所述的设备，其中所述光学感测系统包括IR照明器，其被配置为将一个或多个图案投射到所述物理环境中；其中所述所检测到的显著特征包括所述一个或多个图案。2CN106062862A权利要求书2/2页8.根据权利要求1所述的设备，其中：所述处理系统还包括手势确定模块，其被配置为：从所述图像检测手势，并且确定与所述手势相关联的用户指令；并且所述渲染模块被配置为基于所述所确定的用户指令确定所述物理环境的所述渲染。9.根据权利要求8所述的设备，其中：所述手势确定模块被配置为确定所述用户指令与被渲染的对象的选择相关联；并且所述渲染模块被配置为基于所述用户指令确定所述对象的所述渲染的变化。10.根据权利要求9所述的设备，其中所述对象是虚拟对象。11.根据权利要求9所述的设备，其中所述对象是存在于所述物理环境中的物理对象。12.根据权利要求1所述的设备，其中所述渲染模块被配置为在所述物理环境的所述渲染中将虚拟对象的图像与位于所述物理环境中的物理对象的图像混合；其中所述混合是基于与所述虚拟对象相关联的第一组坐标和与所述物理对象相关联的第二组坐标。13.根据权利要求12所述的设备，其