眼部驱动控制方法和装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113946221A(43)申请公布日2022.01.18(21)申请号202111296399.9(22)申请日2021.11.03(71)申请人广州繁星互娱信息科技有限公司地址510000广东省广州市黄埔区广新路680、682、684号701房(72)发明人方依云(74)专利代理机构北京康信知识产权代理有限责任公司11240代理人周婷婷(51)Int.Cl.G06F3/01(2006.01)G06V40/16(2022.01)G06V40/18(2022.01)权利要求书2页说明书13页附图5页(54)发明名称眼部驱动控制方法和装置、存储介质及电子设备(57)摘要本发明公开了一种眼部驱动控制方法和装置、存储介质及电子设备。其中，该方法包括：在当前直播画面中显示预先为主播对象配置的目标图片，其中，目标图片中显示有虚拟动物对象的面部；基于采集到的主播对象的人脸图像，识别主播对象的单眼闭合特征，其中，单眼闭合特征是基于主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；根据单眼闭合特征所指示的眼部闭合程度，驱动控制目标图片中虚拟动物对象的眼部进行同步闭合调整。本发明解决了现有的技术无法保证对眼部驱动控制的准确性的技术问题。CN113946221ACN113946221A权利要求书1/2页1.一种眼部驱动控制方法，其特征在于，包括：在当前直播画面中显示预先为主播对象配置的目标图片，其中，所述目标图片中显示有虚拟动物对象的面部；基于采集到的所述主播对象的人脸图像，识别所述主播对象的单眼闭合特征，其中，所述单眼闭合特征是基于所述主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的，单个所述闭合点组中包括与同一直线相交的上眼睑点和下眼睑点；根据所述单眼闭合特征所指示的眼部闭合程度，驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整。2.根据权利要求1所述的方法，其特征在于，基于采集到的所述主播对象的人脸图像，识别所述主播对象的单眼闭合特征包括：从所述人脸图像中识别出所述主播对象的眼部关键点序列，其中，所述眼部关键点序列中包括所述多个闭合点组中各个眼睑点的位置信息；根据所述眼部关键点序列计算所述主播对象的单眼闭合程度系数；获取所述主播对象的瞳距；根据所述单眼闭合程度系数与所述瞳距之间的比值，确定所述单眼闭合特征。3.根据权利要求2所述的方法，其特征在于，根据所述眼部关键点序列计算所述主播对象的单眼闭合系数包括：确定每个所述闭合点组各自对应的睁眼距离和闭眼偏移距离，其中，所述睁眼距离为在单眼睁开状态下，所述闭合点组中所述上眼睑点和所述下眼睑点之间的空间距离，所述闭眼偏移距离为在单眼闭合状态下，所述闭合点组中所述上眼睑点和所述下眼睑点之间的偏移距离；计算与每个所述闭合点组各自对应的距离差值，得到多个距离差值，其中，所述距离差值为同一闭合点组的所述睁眼距离和闭眼偏移距离之间的差值；对所述多个距离差值进行加权求和计算，得到所述单眼闭合系数。4.根据权利要求2所述的方法，其特征在于，根据所述单眼闭合程度系数与所述瞳距之间的比值，确定所述单眼闭合特征包括：确定与所述单个眼睛匹配的补偿系数；将所述补偿系数与所述比值的乘积，作为所述单眼闭合特征。5.根据权利要求1所述的方法，其特征在于，根据所述单眼闭合特征所指示的眼部闭合程度，驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整包括：根据至少相邻三帧的所述单眼闭合特征的变化，确定所述主播对象的眼部抖动状态；按照与所述眼部抖动状态相匹配的驱动控制方式，调整所述虚拟动物对象的眼部进行同步闭合调整。6.根据权利要求5所述的方法，其特征在于，按照与所述眼部抖动状态相匹配的驱动控制方式，调整所述虚拟动物对象的眼部进行同步闭合调整包括：在所述眼部抖动状态指示处于微弱抖动情况下，获取当前帧人脸图像与在所述当前帧人脸图像之前的上两帧人脸图像之间的眼部抖动幅度值；根据与所述当前帧人脸图像匹配的抖动系数与所述眼部抖动幅度值，计算出眼部闭合调整值；2CN113946221A权利要求书2/2页按照所述眼部闭合调整值调整所述单眼闭合特征，并对所述单眼闭合特征进行均值滤波处理，得到处理后的所述单眼闭合特征；按照处理后的所述单眼闭合特征，对在所述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的所述虚拟动物对象的眼部进行同步闭合调整。7.根据权利要求5所述的方法，其特征在于，按照与所述眼部抖动状态相匹配的驱动控制方式，调整所述虚拟动物对象的眼部进行同步闭合调整包括：在所述眼部抖动状态指示处于非抖动状态的情况下，对当前帧人脸图像对应的所述单眼闭合特征进行均值滤波处