一种投屏的反向控制方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113934390A(43)申请公布日2022.01.14(21)申请号202111109648.9(22)申请日2021.09.22(71)申请人青岛海尔科技有限公司地址266101山东省青岛市崂山区海尔路1号海尔工业园申请人海尔智家股份有限公司(72)发明人匡东波(74)专利代理机构北京康信知识产权代理有限责任公司11240代理人刘晓燕(51)Int.Cl.G06F3/14(2006.01)G06F3/01(2006.01)权利要求书2页说明书17页附图4页(54)发明名称一种投屏的反向控制方法和装置(57)摘要本申请公开了一种投屏的反向控制方法和装置，其中，上述方法包括：在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置。CN113934390ACN113934390A权利要求书1/2页1.一种投屏的反向控制方法，其特征在于，包括：在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，所述投屏图像是第二设备的屏幕投屏到所述第一设备上的图像，所述可交互界面中包含从所述投屏图像中识别出的可交互元素；接收所述第一设备上输入的第一交互命令，其中，所述第一交互命令是与所述可交互元素中包含第一位置的目标元素对应的交互命令；将所述第一交互命令转化为屏幕操作指示信息，其中，所述屏幕操作指示信息用于指示对所述第一位置执行的目标屏幕操作；将所述屏幕操作指示信息发送给所述第二设备，以使所述第二设备对第二位置执行所述目标屏幕操作，其中，所述第二位置为所述第二设备的屏幕中与所述第一位置对应的位置。2.根据权利要求1所述的方法，其特征在于，所述将所述第一交互命令转化为屏幕操作指示信息包括：对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置，其中，所述目标元素为所述可交互元素中与所述第一交互命令匹配的元素；根据所述第一位置和所述目标屏幕操作，生成所述屏幕操作指示信息，其中，所述目标屏幕操作为所述目标元素所允许执行的屏幕操作。3.根据权利要求2所述的方法，其特征在于，所述对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置包括：在所述第一交互命令为非屏幕操作命令的情况下，对所述第一交互命令进行解析，确定所述第一交互命令中所包含的交互信息；将所述交互信息和所述可交互元素的元素内容进行匹配，确定所述可交互元素中与所述第一交互命令匹配的所述目标元素；将所述目标元素中的预设点的位置，确定为所述第一位置。4.根据权利要求3所述的方法，其特征在于，所述对所述第一交互命令进行解析，确定所述第一交互命令中所包含的交互信息包括：在所述第一交互命令为语音命令的情况下，对所述语音命令进行语音解析，得到所述语音命令中所包含的所述交互信息；在所述第一交互命令为手势命令的情况下，使用预设手势的预设手势信息对所述手势命令进行解析，得到与所述手势命令匹配的目标手势；将所述目标手势的手势信息，确定为所述手势命令中所包含的所述交互信息。5.根据权利要求2所述的方法，其特征在于，所述对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置包括：在所述第一交互命令为对所述目标元素执行的屏幕操作命令的情况下，将对所述目标元素执行的屏幕操作的操作位置，确定为所述第一位置。6.根据权利要求1所述的方法，其特征在于，在所述将所述第一交互命令转化为屏幕操作指示信息之前，所述方法还包括：识别所述投屏图像中的所述可交互元素，得到所述可交互元素的描述信息，其中，所述可交互元素的描述信息用于指示以下至少之一：所述可交互元素的元素类型，所述可交互2CN113934390A权利要求书2/2页元素的元素位置，所述可交互元素允许执行的屏幕操作，所述可交互元素的元素内容，将所述第一交互命令转化为所述屏幕操作指示信息是基于所述可交互元素的描述信息执行的。7.根据权利要求1所述的方法，其特征在于，在所述在第一设备的屏幕上显示与投屏图像对应的可交互界面之前，所述方法还包括：识别所述投屏图像中的所述可交互元素，得到所述可交互元素的元素位置；将所述可交互界面中所述可交互元素的元素位置设置为可交互状态，其中，所述可交互状态为所述元素位置被选中之后所述可交互元素的显示信息发生变化的状态。8.根据权利要求1至7