动画生成方法及装置、存储介质、电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113538641A(43)申请公布日2021.10.22(21)申请号202110796787.7G10L21/10(2013.01)(22)申请日2021.07.14(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人杜峰王海新吴朝阳杨超(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06T13/40(2011.01)G10L13/08(2013.01)G10L15/02(2006.01)权利要求书3页说明书19页附图9页(54)发明名称动画生成方法及装置、存储介质、电子设备(57)摘要本公开属于计算机技术领域，涉及一种动画生成方法及装置、存储介质、电子设备。该方法包括：获取制作好的虚拟数字人，并获取虚拟数字人播报的语音信息；对语音信息进行口形动画生成处理得到口形动画，并对语音信息进行表情动画生成处理得到表情动画；对语音信息进行肢体动画生成处理得到肢体动画，并根据口形动画、表情动画和肢体动画对虚拟数字人进行同步渲染。本公开一方面，减少渲染虚拟数字人过程中的人工参与度，提升虚拟数字人动画内容的生成速度和效率；另一方面，虚拟数字人的动画能够即时生成，无需根据新形象的虚拟数字人重新训练算法，丰富了虚拟数字人的应用场景。CN113538641ACN113538641A权利要求书1/3页1.一种动画生成方法，其特征在于，所述方法包括：获取制作好的虚拟数字人，并获取所述虚拟数字人播报的语音信息；对所述语音信息进行口形动画生成处理得到口形动画，并对所述语音信息进行表情动画生成处理得到表情动画；对所述语音信息进行肢体动画生成处理得到肢体动画，并根据所述口形动画、所述表情动画和所述肢体动画对所述虚拟数字人进行同步渲染。2.根据权利要求1所述的动画生成方法，其特征在于，所述对所述语音信息进行口形动画生成处理得到口形动画，包括：对所述语音信息进行音素转换处理得到与时间信息对齐的音素，并对所述音素进行视位转换处理得到与所述时间信息对齐的语音视位；对所述语音视位和所述时间信息进行线性插值处理得到口形动画。3.根据权利要求2所述的动画生成方法，其特征在于，所述对所述语音信息进行音素转换处理得到与时间信息对齐的音素，包括：对所述语音信息进行特征提取处理得到声学特征和单帧时长，并利用训练好的声学模型确定与所述声学特征对应的声学状态；对所述声学状态进行组合处理得到音素，并利用所述单帧时长对所述音素进行对齐处理得到与单帧时长的时间信息对齐的音素。4.根据权利要求3所述的动画生成方法，其特征在于，所述训练好的声学模型按照如下方式进行训练：对语音样本进行训练得到声学特征与声学状态之间的原始概率值，并对所述原始概率值进行语音解码处理得到声学状态网络；对所述声学状态网络进行路径搜索处理得到目标概率值，以得到表示所述声学特征与所述声学状态的映射关系的声学模型。5.根据权利要求2所述的动画生成方法，其特征在于，所述对所述音素进行视位转换处理得到与所述时间信息对齐的语音视位，包括：获取所述音素与语音视位之间的第一映射关系；基于所述第一映射关系，对所述音素进行视位转换处理得到与所述时间信息对齐的语音视位。6.根据权利要求2所述的动画生成方法，其特征在于，所述对所述语音视位和所述时间信息进行线性插值处理得到口形动画，包括：在所述语音视位中确定当前语音视位，并利用虚拟网格权重表示所述当前语音视位；对所述虚拟网格权重表示的当前语音视位和所述时间信息进行线性插值处理得到口形动画。7.根据权利要求6所述的动画生成方法，其特征在于，所述对所述虚拟网格权重表示的当前语音视位和所述时间信息进行线性插值处理得到口形动画，包括：利用虚拟网格权重表示所述语音视位中的目标语音视位，对所述虚拟网格权重表示的当前语音视位和虚拟网格权重表示的所述目标语音视位进行视位计算得到视位计算结果；根据所述时间信息确定单帧时长、所述目标语音视位的结束时间以及与所述当前语音视位对应的消耗时长，并对所述单帧时长、所述结束时间和所述消耗时长进行时长计算得2CN113538641A权利要求书2/3页到时长计算结果；对所述虚拟网格权重表示的当前语音视位、所述视位计算结果和所述时长计算结果进行权重计算得到下一网格权重，以根据所述下一网格权重确定待渲染的口形动画。8.根据权利要求1所述的动画生成方法，其特征在于，所述获取所述虚拟数字人播报的语音信息，包括：获取所述虚拟数字人播报的文本信息；对所述文本信息进行合成语音转换处理得到语音信息。9.根据权利要求8所述的动画生成方法，其特征在于，所