一种终端控制方法、装置、终端及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114092985A(43)申请公布日2022.02.25(21)申请号202010758636.8(22)申请日2020.07.31(71)申请人中移(苏州)软件技术有限公司地址215163江苏省苏州市高新区昆仑山路58号1幢申请人中国移动通信集团有限公司(72)发明人王稳陈罡(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人姚璐张颖玲(51)Int.Cl.G06V40/16(2022.01)G06V40/18(2022.01)G06F3/0484(2022.01)G06F3/01(2006.01)权利要求书2页说明书8页附图5页(54)发明名称一种终端控制方法、装置、终端及存储介质(57)摘要本申请公开了一种终端控制方法、装置、终端及存储介质，该方法包括：控制图像采集单元采集用户面部图像，并确定所述面部图像中的人眼位置区域；采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；基于所述人眼位置区域内的人眼图像，确定人眼运动信息；基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。这样，通过在终端的多任务交互场景中应用视线追踪技术，可以根据用户视线方向和人眼运动特征进行任务控制，实现多任务控制的多样性和便捷性，提高控制效率。CN114092985ACN114092985A权利要求书1/2页1.一种终端控制方法，其特征在于，所述方法包括：控制图像采集单元采集用户面部图像，并确定所述面部图像中的人眼位置区域；采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。2.根据权利要求1所述的方法，其特征在于，所述确定所述面部图像中的人眼位置区域，包括：从采集到的面部图像中提取面部特征信息，并利用所述面部特征信息确定人眼位置的初始区域；基于虹膜检测技术，从所述人眼位置的初始区域中搜索到虹膜外边界；将所述虹膜外边界围成的区域作为所述人眼位置区域。3.根据权利要求1所述的方法，其特征在于，所述采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向，包括：对所述人眼图像中的瞳孔中心进行定位，得到瞳孔中心坐标；椭圆拟合瞳孔边缘点，配准瞳孔边缘特征点，得到瞳孔边缘点空间坐标；利用所述瞳孔边缘点空间坐标拟合瞳孔平面方程；基于所述瞳孔平面方程和所述瞳孔中心坐标，得到人眼视线方向。4.根据权利要求3所述的方法，其特征在于，所述利用所述瞳孔边缘点空间坐标拟合瞳孔平面方程，包括：采用最小二乘法对所述瞳孔边缘点空间坐标进行拟合，得到所述瞳孔平面方程。5.根据权利要求3所述的方法，其特征在于，所述基于所述瞳孔平面方程和所述瞳孔中心坐标，得到人眼视线方向，包括：基于所述瞳孔平面方程和所述瞳孔中心坐标，得到所述瞳孔中心的法线方向；将所述瞳孔中心的法线方向作为所述人眼视线方向。6.根据权利要求1所述的方法，其特征在于，所述基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作，包括：从至少一种控制条件中确定所述人眼运动信息所满足的目标控制条件；基于控制条件和控制操作的对应关系，确定所述目标控制条件对应的目标控制操作；控制所述目标任务执行所述目标控制操作。7.根据权利要求6所述的方法，其特征在于，所述至少一种控制条件包括：眨眼次数为预设时间段内眨眼N次；其中，N取正整数；眨眼动作为预设的眨眼动作。8.一种终端控制装置，其特征在于，所述装置包括：控制单元，用于控制图像采集单元采集用户面部图像；第一处理单元，用于确定所述面部图像中的人眼位置区域；采用瞳孔空间形态的视线2CN114092985A权利要求书2/2页追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；第二处理单元，用于基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；所述控制单元，还用于基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。9.一种终端，其特征在于，所述终端包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。