表情驱动方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110941332A(43)申请公布日2020.03.31(21)申请号201911076863.6(22)申请日2019.11.06(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人李世虎闫祥达常元章洪智滨胡天舒姚锟韩钧宇刘经拓朱胜贤(74)专利代理机构北京鸿德海业知识产权代理事务所(普通合伙)11412代理人田宏宾(51)Int.Cl.G06F3/01(2006.01)G06T13/40(2011.01)G06K9/00(2006.01)权利要求书3页说明书12页附图6页(54)发明名称表情驱动方法、装置、电子设备及存储介质(57)摘要本申请公开了表情驱动方法、装置、电子设备及存储介质，涉及人工智能领域，其中方法可包括：对第一图像中的被驱动人物进行人脸关键点检测，得到第一人脸关键点序列；针对依次获取到的各第二图像，分别进行以下处理：对其中的驱动人物进行人脸关键点检测，得到第二人脸关键点序列；若当前未确定出无表情帧图像，则对第二人脸关键点序列进行分析，若基于分析结果确定出第二图像为无表情帧图像，则将第二人脸关键点序列作为无表情关键点序列；否则，获取第二人脸关键点序列与无表情关键点序列的偏差量，并基于所述偏差量及第一人脸关键点序列对被驱动人物进行表情驱动渲染。应用本申请所述方案，可提升灵活性、互动性及准确性等。CN110941332ACN110941332A权利要求书1/3页1.一种表情驱动方法，其特征在于，包括：对第一图像中的被驱动人物进行人脸关键点检测，得到第一人脸关键点序列；针对依次获取到的各第二图像，分别进行以下处理：对所述第二图像中的驱动人物进行人脸关键点检测，得到第二人脸关键点序列；若当前未确定出无表情帧图像，则对所述第二人脸关键点序列进行分析，若基于分析结果确定出所述第二图像为无表情帧图像，则将所述第二人脸关键点序列作为无表情关键点序列；若当前已确定出无表情帧图像，则获取所述第二人脸关键点序列与所述无表情关键点序列的偏差量，并基于所述偏差量以及所述第一人脸关键点序列对所述被驱动人物进行表情驱动渲染。2.根据权利要求1所述的方法，其特征在于，所述得到第一人脸关键点序列之后，进一步包括：对所述第一人脸关键点序列进行对齐操作；所述将所述第二人脸关键点序列作为无表情关键点序列之后，进一步包括：对所述无表情关键点序列进行对齐操作；所述获取所述第二人脸关键点序列与所述无表情关键点序列的偏差量之前，进一步包括：对所述第二人脸关键点序列进行对齐操作。3.根据权利要求1所述的方法，其特征在于，该方法进一步包括：针对当前处理的第二图像，结合与所述当前处理的第二图像相邻的前N帧第二图像分别对应的第二人脸关键点序列，对所述当前处理的第二图像对应的第二人脸关键点序列进行帧间平滑处理，N为正整数。4.根据权利要求1所述的方法，其特征在于，所述基于所述偏差量以及所述第一人脸关键点序列对所述被驱动人物进行表情驱动渲染包括：将所述偏差量叠加到所述第一人脸关键点序列上，得到渲染关键点序列；根据所述渲染关键点序列对所述被驱动人物进行表情驱动渲染。5.根据权利要求4所述的方法，其特征在于，该方法进一步包括：按照同样的人脸关键点检测方式对所述被驱动人物及所述驱动人物进行人脸关键点检测；各序列中分别包括：分别对应于检测到的各人脸关键点的位置坐标。6.根据权利要求5所述的方法，其特征在于，所述获取所述第二人脸关键点序列与所述无表情关键点序列的偏差量包括：针对所述第二人脸关键点序列中的各位置坐标，分别将所述位置坐标与所述无表情关键点序列中的对应于相同人脸关键点的位置坐标作差，得到分别对应于各人脸关键点的偏差量；所述将所述偏差量叠加到所述第一人脸关键点序列上包括：针对所述第一人脸关键点序列中的各位置坐标，分别将所述位置坐标与所述位置坐标对应的人脸关键点对应的偏差量相加。7.根据权利要求5所述的方法，其特征在于，所述根据所述渲染关键点序列对所述被驱动人物进行表情驱动渲染包括：2CN110941332A权利要求书2/3页根据所述渲染关键点序列中的各位置坐标对所述被驱动人物进行三角剖分，三角剖分得到的各三角形的顶点分别对应于一个人脸关键点；针对各三角形的顶点，分别将所述顶点对应的人脸关键点在所述第一图像中的纹理值赋值给所述顶点；针对顶点以外的各点，根据从所述第一图像中获取到的纹理值和/或插值方式，对其进行纹理值赋值。8.根据权利要求1所述的方法，其特征在于，所述基于所述偏差量以及所述第一人脸关键点序列对所述被驱动人物进行表情驱动渲染包括：通过图形处理器，基于所述偏差量以及所述第一人脸关键点序列对所述被驱动人物进行表情驱动渲染。9.根据权