用于移动增强现实的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110310175A(43)申请公布日2019.10.08(21)申请号201910558391.1G06T17/05(2011.01)(22)申请日2019.06.25(30)优先权数据16/020,9202018.06.27US(71)申请人北京京东尚科信息技术有限公司地址100086北京市海淀区知春路76号8层申请人京东美国科技公司(72)发明人吴宇章徐毅苗丹周辉(74)专利代理机构中科专利商标代理有限责任公司11021代理人纪雯(51)Int.Cl.G06Q30/06(2012.01)G06T19/00(2011.01)G06T19/20(2011.01)权利要求书2页说明书22页附图10页(54)发明名称用于移动增强现实的系统和方法(57)摘要一种用于实现增强现实的系统和方法。该系统包括被配置为捕获环境的图像的视觉传感器和与视觉传感器通信的计算设备。计算设备具有处理器和存储计算机可执行代码的存储设备。当在处理器处被执行时，计算机可执行代码被配置为：识别所捕获图像中的二维(2D)对象；使用所捕获图像来构建所述环境的三维(3D)地图；通过将所捕获图像中识别的所述2D对象映射到所述3D地图中的对应点，来在所述3D地图中定义3D对象；以及基于3D地图中定义的3D对象在3D地图上渲染3D模型。CN110310175ACN110310175A权利要求书1/2页1.一种用于实现增强现实的系统，包括：视觉传感器，被配置为捕获环境的图像；以及计算设备，与所述视觉传感器通信，其中所述计算设备包括处理器和存储计算机可执行代码的存储设备，并且所述计算机可执行代码当在所述处理器处被执行时被配置为：识别所捕获图像中的二维2D对象；使用所捕获图像来构建所述环境的三维3D地图；通过将所捕获图像中识别的所述2D对象映射到所述3D地图中的对应特征点，来在所述3D地图中定义3D对象；以及基于所述3D地图中定义的所述3D对象将3D模型放置到所述3D地图并进行渲染。2.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为通过确定3D对象的平面来定义所述3D对象。3.根据权利要求2所述的系统，其中，所述平面包括水平平面、垂直平面和具有任意定向的平面。4.根据权利要求2所述的系统，其中，所述计算机可执行代码还被配置为：基于所述3D对象的平面，检测所述3D模型与所述3D地图中定义的所述3D对象之间的碰撞。5.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为：测量尺寸；以及使用机器学习来识别所述2D对象的功能和风格。6.根据权利要求5所述的系统，其中，所述计算机可执行代码还被配置为：将所述2D对象投影到所述3D地图以定义与所述2D对象相对应的3D对象的尺寸、功能和风格，并基于所述3D对象的尺寸、功能和风格来推荐所述3D模型。7.根据权利要求5所述的系统，其中，所述计算机可执行代码还被配置为：基于所述3D对象的尺寸、功能和风格将所述3D模型放置在所述3D地图中的位置。8.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为：使用图像/点处理模块来识别所述2D对象；以及使用渲染模块在所述3D地图上渲染所述3D模型，其中，所述图像/点处理模块和所述渲染模块二者是使用C++编码的。9.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为通过以下操作来在所述3D地图中定义3D对象：确定所捕获图像中与所述2D对象中的一个2D对象相对应的多个2D特征点；确定所述3D地图中与所确定的2D特征点相对应的多个3D特征点；以及将对象标签添加到所确定的3D特征点以定义与所述2D对象相对应的3D对象。10.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为：响应于用户的姿势或语音，在所述3D地图上操作所述3D模型。11.一种用于使用视觉传感器和与所述视觉传感器通信的计算设备来实现增强现实的方法，所述方法包括：所述视觉传感器捕获环境的图像；所述计算设备识别所捕获图像中的二维2D对象；所述计算设备使用所捕获图像构建所述环境的三维3D地图；所述计算设备通过将所捕获图像中识别的所述2D对象映射到所述3D地图中的对应特2CN110310175A权利要求书2/2页征点，来在所述3D地图中定义3D对象；以及所述计算设备基于所述3D地图中定义的所述3D对象将3D模型放置到所述3D地图并进行渲染。12.根据权利要求11所述的方法，还包括：通过确定所述3D对象的平面来定义所述3D地图中的所述3D对象。13.根据权利要求12所述的方法，其中，所述平面包括水平平面、垂直平面和具有任意定向的平面。14.根据权利要求12所述的方法，还包括基于所述平面检测碰撞。15.根据权利要求11所述的方法