动画生成方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902838A(43)申请公布日2022.01.07(21)申请号202111372399.2(22)申请日2021.11.18(71)申请人北京有竹居网络技术有限公司地址101299北京市平谷区林荫北街13号信息大厦802室(72)发明人毕成马泽君(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人温易娜(51)Int.Cl.G06T13/40(2011.01)H04N13/106(2018.01)权利要求书3页说明书14页附图2页(54)发明名称动画生成方法、装置、存储介质及电子设备(57)摘要本公开涉及一种动画生成方法、装置、存储介质及电子设备，所述方法包括：获取输入文本；生成与所述输入文本对应的目标音素序列，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画，实现了无需通过摄像设备来实时捕捉用户的表情数据来驱动虚拟形象的目的。CN113902838ACN113902838A权利要求书1/3页1.一种动画生成方法，其特征在于，包括：获取输入文本；生成与所述输入文本对应的目标音素序列，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画。2.根据权利要求1所述的动画生成方法，其特征在于，所述生成与所述输入文本对应的目标音素序列，包括：获取预配置的与所述输入文本对应的音素帧数序列，所述音素帧数序列中包括与所述输入文本对应的音素序列中每个音素的音频帧数；根据所述音素序列中每个音素的音频帧数，对所述音素序列中每个音素的个数进行扩展，生成与所述输入文本对应的目标音素序列。3.根据权利要求1所述的动画生成方法，其特征在于，所述生成与所述输入文本对应的目标音素序列，包括：获取与所述输入文本对应的音频；根据所述输入文本和所述音频，采用训练好的语音识别模型，生成与所述输入文本对应的目标音素序列。4.根据权利要求3所述的动画生成方法，其特征在于，所述语音识别模型通过以下方式训练得到：获取多个第一样本，每个所述第一样本包括样本文本、与所述样本文本对应的样本音频和样本目标音素序列，所述样本目标音素序列包括与所述样本音频中每个音频帧对应的音素；基于多个第一样本迭代更新初始语音识别模型的参数以减小各第一样本对应的第一损失函数值，得到训练好的语音识别模型；其中，各第一样本对应的第一损失函数值通过以下过程确定：根据语音识别模型对所述第一样本进行处理，得到预测目标音素序列；基于所述预测目标音素序列和所述第一样本的样本目标音素序列的差异，确定所述第一样本对应的第一损失函数值。5.根据权利要求1‑4任一所述的动画生成方法，其特征在于，所述根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，包括：根据表情预测模型对所述目标音素序列进行处理，得到所述目标音素序列中每个音素的各表情类别的权重；针对所述目标音素序列中的每个音素，对该音素的各表情类别的权重进行加权，并基于加权结果确定与该音素对应的目标表情参数；根据所述目标音素序列中所有音素的目标表情参数，确定与所述目标音素序列对应的表情动画曲线。6.根据权利要求5所述的动画生成方法，其特征在于，所述表情预测模型包括特征提取网络和线性网络，所述根据表情预测模型对所述目标音素序列进行处理，得到所述目标音2CN113902838A权利要求书2/3页素序列中每个音素的各表情类别的权重，包括：根据所述特征提取网络对所述目标音素序列进行处理，得到所述目标音素序列的目标特征向量；根据所述线性网络对所述目标特征向量进行处理，得到所述目标音素序列中每个音素的各表情类别的权重。7.根据权利要求6所述的动画生成方法，其特征在于，所述特征提取网络包括编码层、第一卷积网络层、池化层、第二卷积网络层和高速神经网络层，所述根据所述特征提取网络对所述目标音素序列进行处理，得到所述目标音素序列的目标特征向量，包括：根据所述编码层对所述目标音素序列进行处理，得到第一特征向量；根据所述第一卷积网络层对所述第一特征向量进行处理，得到多个第二特征向量；根据所述池化层对经过堆叠操作的所述多个第二特征向量进行处理，得到第三特征向量；根据所述第二卷积网络层对所述第三特征向量进行处理，得到第四特征向量；根据所述高速神经网络层对所述第四特征向量和所述第一