用于车载增强虚拟现实系统的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110717991A(43)申请公布日2020.01.21(21)申请号201910451525.X(22)申请日2019.05.28(30)优先权数据16/0340452018.07.12US(71)申请人通用汽车环球科技运作有限责任公司地址美国密歇根州(72)发明人F·白于鑫J·萨尔加吉斯(74)专利代理机构中国专利代理(香港)有限公司72001代理人董均华王丽辉(51)Int.Cl.G06T19/00(2011.01)G06K9/00(2006.01)权利要求书1页说明书7页附图3页(54)发明名称用于车载增强虚拟现实系统的系统和方法(57)摘要提供了通过提供沉浸式体验来娱乐车辆乘客的系统和方法。在一个实施例中，方法包括：从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘了该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；通过处理器，用定位法来融合该图像数据和该兴趣点数据；通过处理器，基于用户装置的位置来定向融合图像数据；以及通过处理器，在该用户装置的虚拟现实显示器上渲染定向的融合数据。CN110717991ACN110717991A权利要求书1/1页1.一种通过提供沉浸式体验来娱乐车辆乘客的方法，包括：从耦合到所述车辆的多个摄像装置接收图像数据，其中，所述图像数据描绘了所述车辆周围的环境；接收与所述车辆的环境相关联的兴趣点数据；通过处理器，利用定位法来融合所述图像数据和所述兴趣点数据；通过处理器，基于用户装置的位置来定向所述融合图像数据；以及通过处理器将所述定向的融合数据渲染在所述用户装置的虚拟现实显示器上。2.根据权利要求1所述的方法，其中，所述融合基于概率优化方法，并且其中所述融合进一步基于惯性测量单元数据、全球定位系统数据以及所述图像数据的融合，以确定所述车辆在第一坐标系中的位置、方向和速度。3.根据权利要求1所述的方法，其中所述融合基于概率优化方法，并且其中所述融合还基于融合图像数据和惯性测量数据以获得结果并将所述结果与全球定位系统数据融合。4.根据权利要求1所述的方法，其中，所述融合基于图形姿态优化。5.根据权利要求4所述的方法，其中，所述融合还基于融合全球定位系统数据和惯性测量单元数据以获得结果并且将所述结果与所述图像数据融合。6.根据权利要求1所述的方法，其中所述融合是基于图位姿优化和扩展卡尔曼滤波的。7.根据权利要求1所述的方法，其中，所述融合进一步包括：将全球定位系统数据、惯性测量单元数据、摄像机数据以及兴趣点数据融合到单坐标系中；以及将所述融合数据转换到第二坐标系中，其中，所述第二坐标系是所述用户装置中的坐标系。8.根据权利要求7所述的方法，其中所述定向包含将所述经转换的数据从所述第二坐标系定向到第三坐标系中，其中所述第三坐标系基于所述用户装置的定向。9.根据权利要求1所述的方法，其中所述兴趣点数据包括相对于所述兴趣点的姓名、标识、地址、联系信息、销售信息、营业时间、历史事实中的至少一个。10.一种车辆的虚拟现实系统，包括：多个摄像装置，所述摄像装置被配置为围绕所述车辆分布并感测与所述车辆相关联的环境；以及控制器，所述控制器配置为通过处理器从耦合到所述车辆的多个摄像装置上接收图像数据，其中所述图像数据描绘所述车辆周围的环境；接收与所述车辆的环境相关联的兴趣点数据；融合所述图像数据和所述兴趣点数据；基于用户装置的位置来定向融合图像数据；以及在用户装置的虚拟现实显示器上渲染定向的融合数据。2CN110717991A说明书1/7页用于车载增强虚拟现实系统的系统和方法技术领域[0001]本发明总体上涉及虚拟现实，且更具体地涉及将虚拟现实体验整合到使用多视角摄像机的车辆、传感器融合以及兴趣点信息中的系统和方法。[0002]车辆感知系统包括若干个摄像机。这些摄像机与车身融为一体，并且拍摄该车辆周围的环境。为了以自主或者部分自主的方式来控制该车辆，要对这些摄像机的输出进行分析。[0003]后座乘客的视角通常会受到窗口大小和乘客相对位置的限制。因此，乘客不能在长途旅行的过程中享受全景。相应地，为了提供该景观的虚拟真实视角，需要提供用于平衡这些车辆摄像机的系统和方法。更需要在长途旅行的过程中为乘客提供附加信息。此外，结合附图以及前述的技术领域和背景技术，通过随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。发明内容[0004]本发明提供了通过提供沉浸式体验来娱乐车辆乘客的系统和方法。在一个实施例中，方法包括：从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；通过处理器，用定位法来融合该图像数据和该兴趣点数据；通过处理器，基于用户装置的