远程协助方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113885700A(43)申请公布日2022.01.04(21)申请号202111032056.1(22)申请日2021.09.03(71)申请人广东虚拟现实科技有限公司地址510335广东省广州市天河区思成路15号宏太智慧谷三号楼2楼201房(72)发明人章烛明胡永涛戴景文贺杰(74)专利代理机构深圳市智圈知识产权代理事务所(普通合伙)44351代理人林炮勤(51)Int.Cl.G06F3/01(2006.01)G06F9/54(2006.01)G06T19/00(2011.01)H04N7/14(2006.01)权利要求书3页说明书19页附图14页(54)发明名称远程协助方法及装置(57)摘要本申请公开了一种远程协助方法及装置，涉及混合现实技术领域。该方法包括：发送协助请求至远程协助端，协助请求携带有包含现实世界中待协助场景的场景图像；接收远程协助端基于协助请求反馈的协助信息，协助信息包括针对场景图像中目标物体的协助操作，生成的针对待协助场景中的目标物体的标记数据；获取与待协助场景对应的显示模式，作为目标显示模式；基于目标显示模式，将基于标记数据渲染生成的标记图像叠加显示于待协助场景中的目标物体上，以展示远程协助端的用户针对目标物体做出的协助操作。如此，可以清晰地指导电子设备端的用户对目标物体进行操作，提高了远程协助的效率，进而提升用户体验。CN113885700ACN113885700A权利要求书1/3页1.一种远程协助方法，其特征在于，应用于电子设备，所述方法包括：发送协助请求至远程协助端，所述协助请求携带有包含现实世界中待协助场景的场景图像；接收所述远程协助端基于所述协助请求反馈的协助信息，所述协助信息包括针对所述场景图像中目标物体的协助操作，生成的针对所述待协助场景中的目标物体的标记数据；获取与所述待协助场景对应的显示模式，作为目标显示模式；基于所述目标显示模式，将基于所述标记数据渲染生成的标记图像叠加显示于所述待协助场景中的所述目标物体上，以展示所述远程协助端的用户针对所述目标物体做出的所述协助操作。2.根据权利要求1所述的方法，其特征在于，所述获取与所述待协助场景对应的显示模式，作为目标显示模式，包括：对包含所述待协助场景的场景图像进行图像识别，得到图像识别结果，所述图像识别结果包括所述待协助场景中存在的物体的识别结果；基于所述图像识别结果，获取与所述待协助场景对应的场景类型，作为目标场景类型；获取与所述目标场景类型对应的显示模式，作为所述目标显示模式。3.根据权利要求1所述的方法，其特征在于，所述获取与所述待协助场景对应的渲染模式，作为目标显示模式，包括：接收输入的模式选择指令，所述模式选择指令中携带有针对所述待协助场景选择的显示模式；响应于所述模式选择指令，将针对所述待协助场景的显示模式作为所述目标显示模式。4.根据权利要求1所述的方法，其特征在于，所述获取与所述待协助场景对应的显示模式，作为目标显示模式，包括：获取所述标记数据对应的目标物体的数量；判断所述数量是否大于预设数量阈值；若是，获取第一显示模式作为所述目标显示模式，所述第一显示模式用于将基于所述标记数据渲染生成的所有标记图像依次叠加显示于所述待协助场景中的所述目标物体上。若否，获取第二显示模式作为所述目标显示模式，所述第二显示模式用于将基于所述标记数据渲染生成的所有标记图像同时叠加显示于所述待协助场景中的所述目标物体上。5.根据权利要求4所述的方法，其特征在于，所述标记数据包括针对不同的目标物体的多个子标记数据，若所述目标显示模式为所述第一显示模式，所述基于所述目标显示模式，将基于所述标记数据渲染生成的标记图像叠加显示于所述待协助场景中的所述目标物体上，包括：对所述多个子标记数据进行渲染，得到多个子标记图像；获取所述多个子标记数据中每个子标记数据对应的标记时间，作为与所述每个子标记数据对应的每个子标记图像的标记时间；按照所述标记时间从早到晚的顺序，依次将所述多个子标记图像中的一个子标记图像叠加显示于所述待协助场景中的与所述子标记图像对应的目标物体上。6.根据权利要求5所述的方法，其特征在于，所述标记时间相邻的任意两个子标记图像2CN113885700A权利要求书2/3页之间显示的间隔时长为预设时长，所述按照所述标记时间从早到晚的顺序，依次将所述多个子标记图像中的一个子标记图像叠加显示于所述待协助场景中的与所述子标记图像对应的目标物体上，包括：按照所述标记时间从早到晚的顺序，对所述多个子标记图像进行排序，得到排序结果；将所述排序结果中的多个子标记图像依次叠加显示于所述待协助场景中的与所述子标记图像对应的目标物体上的过程中，若在所述预设时长内接收到操作确认指令，取消当前显