显示设备和控件触发方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114296581A(43)申请公布日2022.04.08(21)申请号202110842951.3G06F40/289(2020.01)(22)申请日2021.07.26(71)申请人海信视像科技股份有限公司地址266555山东省青岛市经济技术开发区前湾港路218号(72)发明人高伟姜俊厚贾亚洲岳国华祝欣培初德进李保成李佳琳于硕吴汉勇(74)专利代理机构北京弘权知识产权代理有限公司11363代理人郭放许伟群(51)Int.Cl.G06F3/0481(2022.01)G06F3/16(2006.01)G06F9/451(2018.01)权利要求书2页说明书15页附图7页(54)发明名称显示设备和控件触发方法(57)摘要本申请提供了一种显示设备和控件触发方法，可以针对用户输入的控件触发指令，确定控件触发指令中的控件关键词。再进一步确定控件关键词在用户界面中的位置信息，最后触发位置信息处的控件，从而实现触发用户想要使用的目标控件。本申请可以确定控件关键词在用户界面中的位置信息，而不是文字识别得到的文本的位置信息，因此可以准确地确定目标控件的位置，从而触发目标控件。因此本申请在触发控件时的准确性高，给用户的体验性较强。CN114296581ACN114296581A权利要求书1/2页1.一种显示设备，其特征在于，包括：显示器，被配置为显示用户界面；声音采集器，被配置为接收用户输入的语音指令；控制器，被配置为：响应于用户输入的控件触发指令，确定所述控件触发指令中的控件关键词；确定所述控件关键词在用户界面中的位置信息；触发所述位置信息处的控件。2.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行确定所述控件触发指令中的控件关键词的步骤中，将所述控件触发指令转换为控件触发文本；对所述控件触发文本进行分词处理，得到控件关键词。3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行确定所述控件关键词在用户界面中的位置信息的步骤中，对用户界面进行截图处理，得到截图图像；对所述截图图像进行文字识别处理，得到图像识别信息；基于所述图像识别信息获取所述控件关键词在用户界面中的位置信息。4.根据权利要求3所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行基于所述图像识别信息获取所述控件关键词在用户界面中的位置信息的步骤中，确定所述图像识别信息中包含的多个文本识别信息；确定多个文本识别信息中所述控件关键词对应的控件关键词识别信息，并根据所述控件关键词识别信息获取所述控件关键词在用户界面中的位置信息。5.根据权利要求4所述的显示设备，其特征在于，所述控件关键词识别信息包括控件关键词识别文本和识别文本位置信息；所述控制器进一步被配置为：在执行根据所述控件关键词识别信息获取所述控件关键词在用户界面中的位置信息的步骤中，对所述控件关键词识别信息进行检测；当检测到所述控件关键词识别信息中还包括字符信息时，根据所述字符信息确定所述控件关键词的每个字符的位置信息；当检测到所述控件关键词识别信息中不包括字符信息时，根据所述控件关键词识别信息确定字符信息；所述字符信息包括所述控件关键词识别文本的每个字符的位置信息；根据所述控件关键词的每个字符的位置信息确定所述控件关键词在用户界面中的位置信息。6.根据权利要求5所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行根据所述控件关键词识别信息确定字符信息的步骤中，确定所述控件关键词识别文本中的第一个字符和每个字符之间的字符数量及空字符数量，并获取字符长度和空字符长度；根据所述字符长度和所述字符数量计算所述第一个字符到每个字符之间的第一字符2CN114296581A权利要求书2/2页长度；根据所述空字符长度和所述空字符数量计算所述第一个字符到每个字符之间的第一空字符长度；根据所述第一字符长度和所述第一空字符长度计算所述第一个字符到每个字符的长度；根据所述第一个字符到每个字符的长度以及所述识别文本位置信息确定每个字符的位置信息。7.根据权利要求6所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行获取空字符长度的步骤中，根据所述识别文本位置信息确定所述控件关键词识别文本的长度；确定所述控件关键词识别文本中的字符总数量和空字符总数量，并根据所述字符总数量和所述字符长度计算所述控件关键词识别文本中的字符总长度；计算所述控件关键词识别文本的长度和所述字符总长度的差值；计算所述差值和所述空字符总数量的比值，得到空字符长度。8.根据权利要求6所述的显示设备，其特征在于，所述控制器进一步被配置为：在执行根据所述第一字符长度和所述第一空字符长度计算所述第一个字符到每个字符的长度的步骤中，获取字