AR显示方法、智能终端、AR设备及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108762501A(43)申请公布日2018.11.06(21)申请号201810504090.6(22)申请日2018.05.23(71)申请人歌尔科技有限公司地址266104山东省青岛市崂山区北宅街道投资服务中心308室(72)发明人高峰凯(74)专利代理机构北京太合九思知识产权代理有限公司11610代理人刘戈(51)Int.Cl.G06F3/01(2006.01)G06T15/20(2011.01)G06T19/00(2011.01)权利要求书2页说明书11页附图5页(54)发明名称AR显示方法、智能终端、AR设备及系统(57)摘要本申请实施例提供一种AR显示方法、智能终端、AR设备及系统。在本申请实施例中，由智能终端根据图像模型渲染出相应的虚拟图像，并对虚拟图像的形状和/或角度进行度调整使之满足AR设备显示需求，将调整后的虚拟图像发送于AR设备，使得AR设备可以将其叠加至现实场景中供用户观看。由于图像处理部分基本由智能终端完成，AR设备主要进行虚拟图像与现实场景的叠加，有利于降低AR设备的硬件要求，使AR设备更加轻便，增强用户使用时的便利性和舒适性。CN108762501ACN108762501A权利要求书1/2页1.一种AR显示方法，适用于智能终端，其特征在于，所述方法包括：基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；将经过调整的虚拟图像发送给所述AR设备，以供所述AR设备将所述经过调整的虚拟图像叠加到现实场景中。2.根据权利要求1所述的方法，其特征在于，所述基于图像模型渲染出虚拟图像，包括：从所述智能终端获取所述图像模型，并对所述图像模型进行渲染以生成所述虚拟图像；或者接收所述AR设备发送的图像模型，并对所述图像模型进行渲染以生成所述虚拟图像。3.根据权利要求1所述的方法，其特征在于，在基于所述智能终端与所述AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求之前，还包括：接收所述AR设备传输的所述智能终端的屏幕图像，所述智能终端的屏幕上显示有连通域标识；从所述屏幕图像中识别出包含所述连通域标识的局部图像；基于所述连通域标识与所述局部图像，确定所述智能终端与所述AR设备之间的相对位置关系。4.根据权利要求3所述的方法，其特征在于，所述从所述屏幕图像中识别出包含所述连通域标识的局部图像，包括：获取预先存储的所述连通域标识的基准图像的空间不变性特征；从所述屏幕图像中识别出包含所述基准图像的空间不变性特征的图像区域，作为所述局部图像。5.根据权利要求4所述的方法，其特征在于，基于所述连通域标识与所述局部图像，确定所述智能终端与所述AR设备之间的相对位置关系，包括：将所述屏幕所在平面作为一个坐标面，建立世界坐标系；根据所述连通域标识在所述屏幕上的位置，确定所述智能终端在所述世界坐标系中的位置；根据所述局部图像与所述基准图像的非空间不变性特征，计算出所述局部图像与所述基准图像的相对关系；基于所述局部图像与所述基准图像的相对关系以及所述连通域标识在所述屏幕上的位置，确定所述智能终端与所述AR设备之间的相对位置关系。6.一种AR显示方法，适用于AR设备，其特征在于，所述方法包括：对智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述AR设备的相对位置关系；接收所述智能终端发送的虚拟图像，所述虚拟图像是由所述智能终端根据所述相对位置关系对其形状和/或角度进行调整后发送给所述AR设备的；将所述虚拟图像叠加于现实场景中。2CN108762501A权利要求书2/2页7.一种智能终端，其特征在于，包括：存储器、处理器和通信组件；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序，以用于：基于图像模型渲染出虚拟图像；基于所述智能终端与AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求；通过所述通信组件将经过调整的虚拟图像发送给所述AR设备，以供所述AR设备将所述经过调整的虚拟图像叠加到现实场景中。8.根据权利要求7所述的智能终端，其特征在于，所述通信组件在基于所述智能终端与所述AR设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述AR设备的显示需求之前，具体用于：接收所述AR设备传输的所述智能终端的屏幕图像，所述智能终端的屏幕上显示有连通域标识；所述处理器具体用于：从所述屏幕图像中识别出包含所述连通域标识的局部图像；基于所述连通域标识与所述