基于增强现实的智能界面.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114116110A(43)申请公布日2022.03.01(21)申请号202111464753.4(22)申请日2021.12.03(30)优先权数据17/380,2872021.07.20US(71)申请人上海诺司纬光电仪器有限公司地址201707上海市青浦区新科路303号B2厂房申请人美国西北仪器公司(72)发明人石昕邢星(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人杨胜军(51)Int.Cl.G06F9/451(2018.01)权利要求书3页说明书12页附图6页(54)发明名称基于增强现实的智能界面(57)摘要一种由终端装置实现的交互方法包括：获取空间的界面底层，所述界面底层包括具有方向信息和距离信息的测量图纸；建立外部设备和标记在所述界面底层上的、与所述外部设备相对应的标识之间的映射关系，所述标识指示所述外部设备的物理位置；从所述外部设备接收所述外部设备的属性信息；获取所述空间中的实景图像；确定所述实景图像中包含了目标对象；根据所述外部设备的所述属性信息，确定所述目标对象的目标呈现信息；以及显示所述实景图像以及所述目标呈现信息，所述目标演示信息是作为增强现实(AR)标记添加到所述实景图像中的与所述目标对象相对应的图像位置处。CN114116110ACN114116110A权利要求书1/3页1.一种由终端装置实现的交互方法，其特征在于，所述方法包括：获取空间的界面底层，所述界面底层包括具有方向信息和距离信息的测量图纸；建立外部设备和标记在所述界面底层上的、与所述外部设备相对应的标识之间的映射关系，所述标识指示所述外部设备的物理位置；从所述外部设备接收所述外部设备的属性信息；获取所述空间中的实景图像；确定所述实景图像中包含了目标对象；根据所述外部设备的所述属性信息，确定所述目标对象的目标呈现信息；以及在与所述终端装置相对应的显示屏上，显示所述实景图像以及所述目标呈现信息，所述目标呈现信息作为增强现实(AR)标记添加到所述实景图像中的与所述目标对象相对应的图像位置处。2.根据权利要求1所述的方法，其特征在于，所述目标对象为所述外部设备或与所述外部设备相对应的感兴趣对象。3.根据权利要求1所述的方法，其特征在于：所述外部设备的所述属性信息包括所述外部设备的特征信息、所述外部设备的当前状态信息、所述外部设备的记录信息或所述外部设备的控制选项中的至少一项。4.根据权利要求1所述的方法，其特征在于，在显示所述AR标记后，所述方法进一步包括：在检测到用户对所述AR标记的操作时生成所述控制指令；以及向所述外部设备发送所述控制指令，所述控制指令用于指示所述外部设备执行相应的动作。5.根据权利要求4所述的方法，其特征在于，所述AR标记显示为与所述外部设备的一个或多个控制选项相对应的一个或多个用户界面(UI)项，且所述生成所述控制指令包括：在检测到对具有一个或多个子项的UI项执行用户操作时，更新所述AR标记，以显示所述一个或多个子项；以及在检测到对与所述外部设备的控制选项相对应的UI项或子项执行用户操作时，根据所述用户操作和所述控制选项生成所述控制指令。6.根据权利要求4所述的方法，其特征在于，在发送所述控制指令后，所述方法进一步包括：接收与所述控制指令相对应的反馈信息；根据所述反馈消息，更新所述目标呈现信息；以及将更新后的所述目标呈现信息显示为更新后的所述AR标记。7.根据权利要求6所述的方法，其特征在于：当所述控制指令对应于调整所述外部设备的参数的写入动作时，所述反馈消息包括指示相应动作是否执行成功的执行结果；以及当所述控制指令对应于查询所述外部设备的记录的读取动作时，所述反馈消息包括查询结果。8.根据权利要求1所述的方法，其特征在于，所述目标对象为所述外部设备，且所述确定所述实景图像中包含了目标对象包括：2CN114116110A权利要求书2/3页执行校准过程，并确定所述终端装置在所述界面底层中的位置和方向；根据所述终端装置在所述界面底层中的所述位置以及所述外部设备在所述界面底层中的所述标识，确定所述外部设备相对于所述终端装置的目标位置；以及如果所述终端装置的所述方向指示所述终端装置面向所述外部设备，则确定所述外部设备位于所述实景图像中。9.根据权利要求8所述的方法，其特征在于，所述执行校准过程包括：在所述实景图像上的预设图像位置处显示校准图标，所述校准图标指示校准对象的预期轮廓；以及在确定所述实景图像中包括的所述校准对象与所述预期轮廓相匹配时，确定所述终端装置位于所述界面底层上具有参考方向的参考点处。10.根据权利要求9所述的方法，其特征在于：在使用测距设备生成所述测量图纸的过程中，记录所述参考点的位置和所述参考方向、所述校准图标、以