语音控制方法、装置、电子设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113923295A(43)申请公布日2022.01.11(21)申请号202111363115.3(22)申请日2021.11.17(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人陈明张晓帆(74)专利代理机构深圳市智圈知识产权代理事务所(普通合伙)44351代理人吕静(51)Int.Cl.H04M1/72433(2021.01)H04M1/72469(2021.01)G06F9/451(2018.01)权利要求书3页说明书19页附图12页(54)发明名称语音控制方法、装置、电子设备以及存储介质(57)摘要本申请公开了一种语音控制方法、装置、电子设备以及存储介质，显示图形界面，响应语音交互指令，获取图形界面对应的图形界面截图，对图形界面截图进行处理，获得图形界面中包括的多个目标元素，当通过多个目标元素组成多个满足预设排列规则的元素集合时，按对应的集合尺寸从大到小的顺序从多个元素集合中筛选出目标元素集合，对至少两个目标元素进行索引编号，获得至少两个目标元素各自对应的目标索引编号，基于至少两个目标元素各自对应的目标索引编号，从至少两个元素中确定语音交互指令对应的目标元素，从而可以无需被控制应用对语音控制进行适配，就能实现用户通过语音对界面进行交互控制，节省语音识别的时长，并提升语音交互的准确率。CN113923295ACN113923295A权利要求书1/3页1.一种语音控制方法，其特征在于，所述方法包括：显示图形界面；响应语音交互指令，获取所述图形界面对应的图形界面截图；对所述图形界面截图进行处理，获得所述图形界面中包括的多个目标元素；当通过所述多个目标元素组成多个满足预设排列规则的元素集合时，按对应的集合尺寸从大到小的顺序从多个元素集合中筛选出目标元素集合，其中，所述目标元素集合由所述多个目标元素中的至少两个目标元素组成；对所述至少两个目标元素进行索引编号，获得所述至少两个目标元素各自对应的目标索引编号；基于所述至少两个目标元素各自对应的目标索引编号，从所述至少两个目标元素中确定所述语音交互指令对应的目标元素。2.根据权利要求1所述的方法，其特征在于，所述对所述图形界面截图进行处理，获得所述图形界面中包括的多个目标元素，包括：对所述图形界面截图进行检测，获取所述图形界面中包括的多个元素；对所述多个元素进行去重，获得所述图形界面中包括的多个目标元素。3.根据权利要求2所述的方法，其特征在于，所述对所述图形界面截图进行检测，获取所述图形界面中包括的多个元素，包括：通过第一方式对所述图形界面截图进行检测，获取所述图形界面中包括的多个第一元素，其中，所述多个第一元素在所述图形界面中显示；通过第二方式对所述图形界面截图进行检测，获取所述图形界面中包括的多个第二元素，其中，所述多个第二元素在所述图形界面中隐藏；所述对所述多个元素进行去重，获得所述图形界面中包括的多个目标元素，包括：对所述多个第一元素和所述多个第二元素进行去重处理，获得所述图形界面中包括的多个目标元素。4.根据权利要求3所述的方法，其特征在于，所述对所述多个第一元素和所述多个第二元素进行去重处理，获得所述图形界面中包括的多个目标元素，包括：获取所述多个第一元素和所述多个第二元素中，重叠的元素之间的重叠区域比例；当所述重叠区域比例大于或等于比例阈值时，从所述重叠的元素中保留尺寸最大的元素；当所述重叠区域比例小于所述比例阈值时，保留所述重叠的元素。5.根据权利要求3所述的方法，其特征在于，所述通过第二方式对所述图形界面截图进行检测，获取所述图形界面中包括的多个第二元素，其中，所述多个第二元素在所述图形界面中隐藏，包括：基于元素检测模型对所述图形界面截图进行检测，获取所述图形界面中包括的所述多个第二元素，其中，所述元素检测模型基于对图形界面的布局规则进行学习获得。6.根据权利要求1‑5任一项所述的方法，其特征在于，所述对所述至少两个目标元素进行索引编号，获得所述至少两个目标元素各自对应的目标索引编号，包括：获取所述目标元素集合对应的元素尺寸在所述图形界面的占比；当所述占比大于或等于占比阈值时，获得所述至少两个目标元素各自对应的目标索引2CN113923295A权利要求书2/3页编号。7.根据权利要求6所述的方法，其特征在于，在所述当所述占比大于或等于占比阈值时，获得所述至少两个目标元素各自对应的目标索引编号之前，还包括：对所述语音交互指令进行解析，获得所述语音交互指令所包含的语音信息；基于所述语音信息，确定所述占比阈值。8.根据权利要求7所述的方法，其特征在于，所述基于所述语音信息，确定所述占比阈值，包括：当所述语音信息同时包括文本描述和索引编