动画生成方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110880198A(43)申请公布日2020.03.13(21)申请号201811037239.0(22)申请日2018.09.06(71)申请人百度在线网络技术（北京）有限公司地址100085北京市海淀区上地十街10号百度大厦三层(72)发明人陈昌滨卞衍尧傅宇韬(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06T13/40(2011.01)权利要求书3页说明书12页附图5页(54)发明名称动画生成方法和装置(57)摘要本申请实施例公开了动画生成方法和装置。所述方法的一实施例包括：响应于接收到输入文本，获取输入文本的动画标签，并得到输入文本中的词和动作之间的对应关系；生成与输入文本对应的语音；将基于所得到的对应关系对预设的人物形象的模型进行渲染生成的视频和所生成的语音合并，生成人物形象的动画。该实现方式可以使得生成的动画中，人物形象的动作能够自然而准确地体现输入文本所表达的含义。CN110880198ACN110880198A权利要求书1/3页1.一种动画生成方法，包括：响应于接收到输入文本，获取输入文本的动画标签，并得到所述输入文本中的词和动作之间的对应关系；生成与所述输入文本对应的语音；将基于所得到的对应关系对预设的人物形象的模型进行渲染生成的视频和所生成的语音合并，生成所述人物形象的动画。2.根据权利要求1所述的动画生成方法，其中，所述生成与所述输入文本对应的语音包括：解析所述输入文本生成音素序列；基于所生成的音素序列，合成得到与所述输入文本对应的语音。3.根据权利要求2所述的动画生成方法，所述生成与所述输入文本对应的语音还包括：确定与所述音素序列对应的口型系数序列；所述基于所得到的对应关系和语音，对预设的人物形象进行渲染，生成所述人物形象的动画进一步包括：将基于所得到的对应关系和口型系数序列对预设的人物形象的模型进行渲染生成的视频，以及所生成的语音合并，生成所述人物形象的动画。4.根据权利要求1-3之一所述的动画生成方法，所述响应于接收到输入文本，获取输入文本的动画标签，并得到所述输入文本中的词和动作之间的对应关系包括：将所述输入文本输入预先训练的动画标签获取模型，以得到输入文本中的词和动画标签之间的对应关系；基于所述输入文本中的词和动画标签之间的对应关系，生成动作系数序列，并将所述动作系数序列作为所述输入文本中的词和动作之间的对应关系。5.根据权利要求4所述的方法，其中，所述动画标签包括表情标签和动作标签，所述动画标签获取模型包括情感预测子模型和动作预测子模型，所述将所述输入文本输入预先训练的动画标签获取模型，以得到输入文本中的词和动画标签之间的对应关系包括：将所述输入文本输入至预先训练的情感预测子模型，得到所述输入文本所包含的词和词的情感倾向的对应关系；基于所述所述输入文本所包含的词和词的情感倾向的对应关系确定输入文本所包含的词和预设表情标签之间的对应关系；将所述输入文本所包含的词和词的预设表情标签之间的对应关系，输入动作预测子模型，以得到动作系数序列，其中，所述动作系数序列用于指示所述输入文本所包含的词和词的动作标签之间的对应关系。6.根据权利要求5所述的方法，其中，所述动作标签所指示的动作包括四肢动作、躯干动作和头部动作中的至少一者。7.根据权利要求3所述的方法，其中，所述生成与所述输入文本对应的语音进一步包括：将所述输入文本输入预先建立的语音口型生成模型，得到与所述输入文本对应的语音和口型系数序列。8.根据权利要求7所述的方法，其中，所述预先建立的语音口型生成模型通过如下方式2CN110880198A权利要求书2/3页训练得到：建立序列到序列模型作为初始语音口型生成模型；将训练样本输入所述初始语音口型生成模型，得到所述初始语音口型生成模型的输出，其中，所述训练样本包括声音语料和对所述声音语料的标注以及视频语料和对所述视频语料的标注；将基于预先设置的损失函数确定的、所述输出和所述训练样本的标注之间的损失值在所述初始语音口型生成模型中反向传播，以训练所述初始语音口型生成模型。9.根据权利要求3所述的方法，其中，所述生成与所述输入文本对应的语音进一步包括：从预先建立的音频数据库中，确定出与所述输入文本对应的语音；将所确定的语音输入预先训练的口型系数生成模型，得到与所述输入文本对应的口型系数序列。10.一种动画生成装置，包括：动画标签获取单元，被配置成响应于接收到输入文本，获取输入文本的动画标签，并得到所述输入文本中的词和动作之间的对应关系；语音生成单元，被配置成生成与所述输入文本对应的语音；动画生成单元，被配置成将基于所得到的对应关系对预设的人物形象的模型进行渲染生成的视频和