基于场景内容自适应的AR导航方法、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113628349A(43)申请公布日2021.11.09(21)申请号202110902735.3G06N3/04(2006.01)(22)申请日2021.08.06G06N3/08(2006.01)G01C21/20(2006.01)(71)申请人西安电子科技大学地址710126陕西省西安市长安区西沣路兴隆段266号(72)发明人梅林徐旭汪思远张亮朱光明冯明涛沈沛意(74)专利代理机构西安知诚思迈知识产权代理事务所(普通合伙)61237代理人高喜凤(51)Int.Cl.G06T19/00(2011.01)G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)权利要求书1页说明书6页附图5页(54)发明名称基于场景内容自适应的AR导航方法、设备及可读存储介质(57)摘要本发明公开了一种基于场景内容自适应的AR导航方法、设备及可读存储介质，所述方法包括：步骤1，设计数个虚拟形象，将其封装为数据结构，并添加数据结构索引；步骤2，训练深度学习神经网络；步骤3，进行路径规划；步骤4，获取移动中的实景图像，对其进行分类，若分类结果为数据结构索引，则跳转至步骤5；步骤5，继续对实景图像进行目标对象位置分割与语义分析，得到语义分析结果；步骤6，确定实景地点位置，计算虚拟形象尺寸和角度；步骤7，添加虚拟形象；步骤8，重复获取实景图像，对虚拟形象进行自适应调整；本发明能自适应调整虚拟形象的尺寸、角度等信息，提高虚拟形象与用户的交互效果。CN113628349ACN113628349A权利要求书1/1页1.基于场景内容自适应的AR导航方法，其特征在于，具体包括以下步骤：步骤1，实时获取移动设备移动过程中的实景图像，确定要添加的虚拟形象；步骤2，利用深度学习神经网络对实景图像进行目标对象位置分割和语义分析，确定虚拟形象位置和语义分析结果；步骤3，根据虚拟形象位置确定对应的实景地点位置，基于实景地点位置、移动设备当前位置及语义分割结果确定虚拟形象的尺寸和角度；步骤4，根据虚拟形象位置、虚拟形象尺寸和角度，将虚拟形象添加在实景图像中形成AR导航结果；步骤5，持续采集移动过程中的实景图像，判断当前实景图像与前一帧实景图像的相似度，若两者相似度较高，则重复步骤3～4，自适应调整虚拟形象的尺寸和角度，若两者相似度较低，则重复步骤1～4，自适应添加和调整虚拟形象。2.根据权利要求1所述的基于场景内容自适应的AR导航方法，其特征在于，确定要添加的虚拟形象的过程如下：步骤1‑1，对应各实景图像设计数个虚拟形象，将其封装为数据结构，并为数据结构添加相应的索引；步骤1‑2，将各虚拟形象对应的实景图像作为特征图像，训练深度学习神经网络；步骤1‑3，利用深度学习神经网络对获取的实景图像进行分类，若分类结果为null，则重新获取实景图像重复分类操作，直至分类结果为数据结构索引，将该索引对应的虚拟形象作为要添加的虚拟形象。3.根据权利要求2所述的基于场景内容自适应的AR导航方法，其特征在于，所述数据结构还包括虚拟形象位置、虚拟形象尺寸和角度、实景地点位置和语义分割结果；所述虚拟形象位置为虚拟形象在移动设备显示屏中的添加位置；所述虚拟形象尺寸和角度为虚拟形象在移动设备显示屏中的尺寸和角度；所述实景地点位置为虚拟形象位置对应的实景地点的经纬度、高度信息；所述语义分割结果为实景图像中各物体之间的位置关系。4.根据权利要求1所述的基于场景内容自适应的AR导航方法，其特征在于，所述深度学习神经网络由分类模块和语义分割模块组成，所述语义分割模块由Resnet网络、金字塔池化模块、上采样层、连接层和输出层依次连接组成；所述Resnet网络用于提取实景图像的特征得到原始特征图；所述金字塔池化模块用于提取原始特征图中的多级上下文信息，再将其聚合；所述上采样层用于将不同维度的特征图上采样到与原始特征图相同的尺寸；所述连接层用于将原始特征图与上采样后的特征图拼接；所述输出层用于对拼接图像进行卷积操作得到语义分析结果。5.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1‑4任一所述的方法步骤。6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1‑4任一所述的方法步骤。2CN113628349A说明书1/6页基于场景内容自适应的AR导航方法、设备及可读存储介质技术领域[0001]本发明属于增强现实(AugmentedReality，AR)技术领域，特别是涉及一种基于场