一种增强现实的人机交互方法及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113672158A(43)申请公布日2021.11.19(21)申请号202110960158.3(22)申请日2021.08.20(71)申请人上海电气集团股份有限公司地址200336上海市长宁区兴义路8号30层(72)发明人陈罡徐欣钱广璞(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人于丹(51)Int.Cl.G06F3/0488(2013.01)G06F3/0482(2013.01)G06T19/00(2011.01)权利要求书2页说明书12页附图6页(54)发明名称一种增强现实的人机交互方法及设备(57)摘要本发明公开了一种增强现实的人机交互方法及设备，用于将AR技术中的手势操作融入术中导航，能够更便捷、直观的进行手术中的人机交互，并且能够保证手术中的人机交互的无菌性。该方法包括：确定使用增强现实AR设备的用户进行操作的目标对象；响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。CN113672158ACN113672158A权利要求书1/2页1.一种增强现实的人机交互方法，其特征在于，该方法包括：确定使用增强现实AR设备的用户进行操作的目标对象；响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。2.根据权利要求1所述的方法，其特征在于，所述环状菜单的环内区域用于显示所述目标对象的部分所述虚拟对象或全部所述虚拟对象。3.根据权利要求1所述的方法，其特征在于，所述在所述AR设备构建的虚拟空间中显示与所述虚拟对象对应的环状菜单，包括：确定在所述虚拟空间中所述用户的眼睛的第一位置和所述虚拟对象的第二位置；在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单。4.根据权利要求3所述的方法，其特征在于，所述在所述第一位置和所述第二位置之间，显示与所述虚拟对象对应的所述环状菜单，包括：在所述第一位置和所述第二位置确定的线段上，与所述第一位置相距预设值的第三位置显示所述环状菜单；其中所述第三位置与所述第一位置之间的距离，小于所述第三位置与所述第二位置之间的距离。5.根据权利要求1所述的方法，其特征在于，所述打开指令，包括：所述用户在所述虚拟空间利用所述手势对所述命令项进行触控后触发的打开指令；和/或，所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，其中所述移动的所述手势的移动方向由所述环状菜单的中心指向所述环状菜单上的所述命令项。6.根据权利要求1～5任一所述的方法，其特征在于，所述响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单之后，还包括：确定所述手势指令在所述虚拟空间中的手势位置；根据所述手势位置，确定与所述手势指令对应的备选位置；在所述备选位置显示与所述环状菜单对应的缩略菜单，其中所述缩略菜单将所述环状菜单上显示的全部的所述命令项进行隐藏。7.根据权利要求6所述的方法，其特征在于，所述在所述备选位置显示与所述环状菜单对应的缩略菜单之后，还包括：响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述缩略菜单上显示所述移动的所述手势的所述移动方向以及指向的所述环状菜单上的所述命令项；和/或，响应于所述用户在所述虚拟空间利用移动的所述手势和所述命令项进行交互触发的打开指令，在所述环状菜单上显示所述移动的所述手势的所述移动方向。2CN113672158A权利要求书2/2页8.一种增强现实的人机交互设备，其特征在于，该设备包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：确定使用增强现实AR设备的用户进行操作的目标对象；响应于所述用户的手势指令，在所述AR设备构建的虚拟空间中显示所述目标对象的虚拟对象，以及与所述虚拟对象对应的环状菜单，其中所述环状菜单上用于显示与所述虚拟对象相关的命令项；响应于所述用户在所述虚拟空间利用手势和所述命令项进行交互触发的打开指令，对所述虚拟对象进行与所述打开指令对应的所述命令项的操作。9.根据权利要求8所述的