一种基于深度学习的语音驱动3D人物面部表情方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113763519A(43)申请公布日2021.12.07(21)申请号202111321780.6(22)申请日2021.11.09(71)申请人江苏原力数字科技股份有限公司地址210019江苏省南京市建邺区白龙江东街8号科技创新综合体A3号楼4-7层(72)发明人赵锐候志迎李帆(74)专利代理机构南京常青藤知识产权代理有限公司32286代理人高远(51)Int.Cl.G06T13/40(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)G10L25/30(2013.01)G10L25/03(2013.01)权利要求书2页说明书5页(54)发明名称一种基于深度学习的语音驱动3D人物面部表情方法(57)摘要本发明提供一种基于深度学习的语音驱动3D人物面部表情方法，包括以下步骤：从制作好的动画中获取语音并提取语音特征以得到融合语音特征，将其与控制器参数对应起来构成训练数据；搭建深度学习网络模型，对语音特征从多个维度进行建模，得到抽象特征用于训练和回归预测，得到面部表情控制器参数；将融合语音特征输入上述模型中，通过实际输出与目标输出的均方误差，利用Adam优化器最小化误差，优化网络参数，得到最终模型；将语音特征经过处理后输入深度学习网络模型中，回归预测得到控制器参数，用输出的控制器参数驱动动画模型以生成面部表情动画，可以更快地得到更加稳定的动画出品，同时降低了人力和时间成本。CN113763519ACN113763519A权利要求书1/2页1.一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，包括以下步骤：S1、从制作好的动画中获取每帧动画人物面部表情的控制参数及对应的语音，提取多种语音特征并进行拼接融合得到融合语音特征，将所述融合语音特征与控制器参数对应起来，共同构成训练数据；S2、搭建深度学习网络模型，对所述语音特征从多个维度进行建模，得到抽象特征以用于训练和回归预测，得到面部表情控制器参数；S3、模型训练，将步骤S1所述的融合语音特征输入至步骤S2所述的深度学习网络模型中获取实际输出，将语音特征对应的表情控制器参数作为网络的目标输出，获取实际输出与目标输出的均方误差，利用Adam优化器最小化误差，优化网络参数；S4、根据步骤S3的步骤训练若干轮数，以得到最终模型；S5、将一条语音特征经过特征提取和处理后输入所述深度学习网络模型中，回归预测得到一系列控制器参数，用输出的控制器参数驱动动画模型以生成面部表情动画。2.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，步骤S2的所述深度学习网络模型包括若干层CNN网络层，其每层均对融合语音特征在特征维度上进行卷积操作，以实现对特征的降维处理，得到抽象特征；RNN层，其采用双向lstm网络，对所述CNN层提取出的特征做时间维度上的序列建模，得到特征向量；全连接网络层，对所述特征向量进行回归预测，以得到面部表情控制器参数值。3.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，步骤S3所述的均方误差的计算公式为：MSELoss=，其中，Y为输入特征对应的控制器参数值，即目标输出；Z为输入特征输入所述深度学习网络模型中回归预测得到的控制参数，即实际输出；n为训练时样本大小；m为控制器参数维度，即最后的全连接网络层维度值。4.根据权利要求2所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，所述CNN网络层为7层，所述RNN层为1层，所述全连接网络层为两层，所述全连接网络层包括一层隐藏层。5.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，步骤S1所述的从制作好的动画中获取每帧动画人物面部表情的控制参数包括从制作好的maya动画中提取控制器参数。6.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，步骤S1所述的语音特征包括fbank语音特征和mfcc语音特征，并通过deepspeech开源模型的中间特征和所述语音特征在特征维度上拼接融合，作为训练用的融合语音特征。7.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征在于，在进行模型训练时，采用前后q帧的语音特征用于当前帧的语音特征来训练数据，其中，q≥1。8.根据权利要求1所述的一种基于深度学习的语音驱动3D人物面部表情方法，其特征2CN113763519A权利要求书2/2页在于，步骤S5中，将模型预测得到的控制器参数值，通过maya或ue，使得每一组控制器参数对模型产生一次形变，连起来以得到3D人物面部表情动画。3CN113763519A说明书1/5页一种基