一种虚实融合方法、设备及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113450439A(43)申请公布日2021.09.28(21)申请号202010225385.7(22)申请日2020.03.26(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人李江伟罗巍何峰(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强李稷芳(51)Int.Cl.G06T15/00(2011.01)G06T17/05(2011.01)G06T19/00(2011.01)权利要求书7页说明书24页附图5页(54)发明名称一种虚实融合方法、设备及系统(57)摘要本发明实施例公开一种虚实融合方法、设备及系统，包括有信息采集模块、第一空间定位模块、场景理解模块、位置确定模块、渲染模块和显示模块的电子设备和有第二空间定位模块的服务器，信息采集模块采集环境信息；第一空间定位模块发送环境信息；第二空间定位模块根据环境信息确定绝对位置信息和其对应的3D地图；场景理解模块根据环境信息和3D地图对电子设备所处环境进行识别；位置确定模块根据绝对位置信息和识别结果确定数字内容在3D地图的第一位置和电子设备在3D地图的第二位置；渲染模块根据第一位置、识别结果和第二位置对数字内容进行渲染；显示模块显示渲染后的数字内容。本发明实施例，可以实现数字世界与物理世界的无缝融合。CN113450439ACN113450439A权利要求书1/7页1.一种虚实融合系统，其特征在于，包括电子设备和服务器，所述电子设备包括信息采集模块、第一空间定位模块、场景理解模块、位置确定模块、渲染模块和显示模块，所述服务器包括第二空间定位模块，其中：所述信息采集模块，用于采集环境信息；所述第一空间定位模块，用于向所述服务器发送所述环境信息；所述第二空间定位模块，用于根据所述环境信息和存储的3D地图确定所述电子设备的绝对位置信息和所述绝对位置信息对应的3D地图，向所述电子设备发送所述绝对位置信息以及所述绝对位置信息对应的3D地图；所述场景理解模块，用于根据所述环境信息和所述绝对位置信息对应的3D地图对所述电子设备所处环境进行识别；所述位置确定模块，用于根据所述绝对位置信息和识别结果确定数字内容在所述绝对位置信息对应的3D地图中的位置，以及所述电子设备在所述绝对位置信息对应的3D地图中的位置；所述渲染模块，用于根据所述数字内容在所述绝对位置信息对应的3D地图中的位置、所述识别结果以及所述电子设备在所述绝对位置信息对应的3D地图中的位置对所述数字内容进行渲染；所述显示模块，用于根据所述数字内容在所述绝对位置信息对应的3D地图中的位置显示渲染后的数字内容。2.根据权利要求1所述的系统，其特征在于，所述第一空间定位模块，还用于根据所述环境信息的采集器件确定所述电子设备所处的环境状态，向所述服务器发送所述环境状态，所述环境状态包括室外环境或室内环境；所述第二空间定位模块根据所述环境信息和存储的3D地图确定所述电子设备的绝对位置信息和所述绝对位置信息对应的3D地图包括：根据所述环境信息、所述环境状态和存储的3D地图确定所述电子设备的绝对位置信息和所述绝对位置信息对应的3D地图。3.根据权利要求2所述的系统，其特征在于，所述第一空间定位模块根据所述环境信息的采集器件确定所述电子设备所处的环境状态包括：在所述环境信息的采集器件包括第一预设器件的情况下，确定所述电子设备所处的环境状态为室内环境；在所述环境信息的采集器件包括第二预设器件的情况下，确定所述电子设备所处的环境状态为室外环境。4.根据权利要求1-3任一项所述的系统，其特征在于，所述环境信息包括图像，所述场景理解模块根据所述环境信息和所述绝对位置信息对应的3D地图对所述电子设备所处环境进行识别包括以下的一项或多项：根据所述图像和所述绝对位置信息对应的3D地图识别所述电子设备所处场景；对所述图像和所述绝对位置信息对应的3D地图进行目标检测；对所述图像和所述绝对位置信息对应的3D地图进行文本检测；对所述图像和所述绝对位置信息对应的3D地图进行标志检测；根据所述环境信息进行材质识别；2CN113450439A权利要求书2/7页根据所述环境信息进行光照识别；根据所述图像和所述绝对位置信息对应的3D地图进行场景深度计算；对所述图像和所述绝对位置信息对应的3D地图进行遮挡检测；对所述图像和所述绝对位置信息对应的3D地图进行运动前景检测；对所述图像和所述绝对位置信息对应的3D地图进行平面估计；对所述图像进行人脸识别；对所述图像进行情感识别；根据所述图像和所述绝对位置信息对应的3D地图进行目标跟踪。5.根据权利要求1-4任一项所述的系统，其特征在于，所述服务器还包括用户生成内容UGC模块，所述电子设备还包括内