一种基于虚拟引擎的人脸细微表情捕捉方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114627218A(43)申请公布日2022.06.14(21)申请号202210529723.5(22)申请日2022.05.16(71)申请人成都市谛视无限科技有限公司地址610094四川省成都市高新区剑南大道中段716号1栋27层04、05号(72)发明人唐浩(74)专利代理机构成都市集智汇华知识产权代理事务所(普通合伙)51237专利代理师李华温黎娟(51)Int.Cl.G06T13/40(2011.01)G06V40/16(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图3页(54)发明名称一种基于虚拟引擎的人脸细微表情捕捉方法及装置(57)摘要本发明提供的一种基于虚拟引擎的人脸细微表情捕捉方法及装置，基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域，在虚拟引擎中构建控制器，构建神经网络，将预划分的人脸图像规定区域输入到神经网络中进行训练和验证，将真实人脸表情图像进行预划分，输入到训练好的神经网络中，通过神经网络运算得到控制器权重值，将控制器权重值输入到虚拟引擎对应的控制器中，产生局部网格变化，从而在虚拟引擎中渲染出人脸的细微表情。本发明无需对人脸进行标记，且采用人脸区域划分的方法，增强了算法对人脸不同区域的控制器参数预测的抗干扰能力，有效的提高了人脸生动细微表情的鲁棒性，进而提高还原人脸生动的细微表情的准确性。CN114627218ACN114627218A权利要求书1/2页1.一种基于虚拟引擎的人脸细微表情捕捉方法，其特征在于，包括：基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域；在虚拟引擎中构建与所述人脸局部表情区域一一对应的控制器，以驱动人脸局部区域的变化；构建神经网络，将预划分的样本图像区域输入到所述神经网络中进行训练和验证；将真实人脸表情的待测图像进行预划分，输入到训练完成的所述神经网络中，输出所述控制器的数值；将所述控制器数值输入到所述虚拟引擎对应的控制器中，产生局部网格变化，从而在虚拟引擎中渲染出人脸的细微表情。2.根据权利要求1所述的人脸细微表情捕捉方法，其特征在于，所述将预划分的样本图像区域输入到所述神经网络中进行训练和验证，包括：将人脸图像输入Dlib检测人脸关键点，将人脸划分为多个部分；基于一张人脸图像生成多张图片，且每张图片分别与所述人脸划分部分相对应，其中，每张图片保留所述划分部分的图像，其他部分用黑色代替；构建神经网络，生成与所述人脸划分部分相对应的控制器数值标签；将所述生成的图像和标签输入到所述神经网络中进行训练和验证。3.根据权利要求2所述的人脸细微表情捕捉方法，其特征在于，所述生成与所述人脸划分部分相对应的控制器数值标签，包括：对所述控制器控制的待测图像具体位置进行赋值；其中，将属于对应划分的部分数值进行保留，不属于对应划分的部分数值置0。4.根据权利要求1所述的人脸细微表情捕捉方法，其特征在于，基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域，包括：基于人类人脸的可变生物特征，将人脸划分为161个人脸局部表情区域，即人脸的每一个表情都是由这161个局部位置的变化组成的；其中，所述局部位置产生的变化区域分为单一变化区域、双向变化区域以及复杂变化。5.根据权利要求4所述的人脸细微表情捕捉方法，其特征在于，所述在虚拟引擎中构建与所述人脸局部表情区域一一对应的控制器，以驱动人脸局部区域的变化，包括：制作所述161个人脸局部表情区域的局部网格变化，并绑定对应的控制器；其中，所述控制器具有对应的控制器方法，以驱动人脸局部区域的变化。6.一种基于虚拟引擎的人脸细微表情捕捉装置，其特征在于，包括：人脸局部划分模块，用于基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域；局部驱动模块，用于在虚拟引擎中构建与所述人脸局部表情区域一一对应的控制器，以驱动人脸局部区域的变化；神经网络模块，用于构建神经网络，将预划分的人脸图像规定区域输入到所述神经网络中进行训练和验证；图像预划分模块，用于将真实人脸表情图像进行预划分，输入到训练好的所述神经网络中，输出所述控制器的数值，通过神经网络运算得到所述控制器权重值；表情渲染模块，用于将所述控制器权重值输入到所述虚拟引擎对应的控制器中，产生2CN114627218A权利要求书2/2页局部网格变化，从而在虚拟引擎中渲染出人脸的细微表情。7.根据权利要求6所述的人脸细微表情捕捉装置，其特征在于，所述神经网络模块由去除FC层的resnet50网络结构构成，其中，在resnet50网络结构的最后特征层后连接人脸预划分区域相对应的全连接层分支，在所述神经网络模块将人脸预划分图像输入神经网络并计