虚拟人物的生成方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114219879A(43)申请公布日2022.03.22(21)申请号202111535268.1(22)申请日2021.12.15(71)申请人中国平安人寿保险股份有限公司地址518000广东省深圳市福田区福田街道益田路5033号平安金融中心14、15、16、37、41、44、45、46、54、58、59层(72)发明人刘钊(74)专利代理机构深圳市力道知识产权代理事务所(普通合伙)44507代理人张传义(51)Int.Cl.G06T13/40(2011.01)G06V40/16(2022.01)G06V10/46(2022.01)权利要求书2页说明书7页附图4页(54)发明名称虚拟人物的生成方法、装置、设备及存储介质(57)摘要本申请涉及人工智能，本申请提供一种虚拟人物的生成方法、装置、设备及存储介质，所述方法基于预设语音转口型模型，生成待播放音频对应的目标口型图像序列；提取原始虚拟人物的原始唇部关键点位置以及口型形象的目标唇部关键点位置；根据所述原始唇部关键点位置与所述目标唇部关键点位置的对应关系以及图像序号，将所述原始图像序列中的原始唇部图像替换为所述目标口型图像序列中的目标唇部图像，并在所述原始图像序列所在的原始视频中增加与所述待播放音频口型对应的目标虚拟人物。通过上述方式，可在原始视频中生成与待播放音频口型同步的目标虚拟人物，增加了虚拟人物的生成样式，并提高了虚拟人物的灵活性。CN114219879ACN114219879A权利要求书1/2页1.一种虚拟人物的生成方法，其特征在于，所述虚拟人物的生成方法包括以下步骤：基于预设语音转口型模型，生成待播放音频对应的目标口型图像序列；提取原始图像序列中原始虚拟人物的原始唇部关键点位置以及提取所述目标口型图像序列中口型形象的目标唇部关键点位置；根据所述原始唇部关键点位置与所述目标唇部关键点位置的对应关系以及图像序号，将所述原始图像序列中的原始唇部图像替换为所述目标口型图像序列中的目标唇部图像，并在所述原始图像序列所在的原始视频中增加与所述待播放音频口型对应的目标虚拟人物。2.如权利要求1所述的虚拟人物的生成方法，其特征在于，所述基于预设语音转口型模型，生成待播放音频对应的目标口型图像序列，包括：提取所述待播放音频的音频信息以及所述原始视频对应的原始图像序列，并将所述音频信息以及所述原始图像序列进行归一化处理；通过音频编码器对处理后的所述音频信息进行编码，生成所述音频信息对应的音频特征向量，并通过图像编码器对处理后的所述原始图像序列进行编码，生成所述原始图像序列的图像特征向量；将所述音频特征向量与所述图像特征向量进行拼接，并通过解码器以及拼接后的特征向量，生成所述目标口型图像序列。3.如权利要求2所述的虚拟人物的生成方法，其特征在于，所述通过解码器以及拼接后的特征向量，生成所述目标口型图像序列的步骤具体包括：通过所述解码器对所述拼接后的特征向量进行解码，生成初始口型图像序列；获取所述初始口型图像序列的清晰度，并在所述初始口型图像序列中不存在清晰度小于预设清晰度阈值的图像时，将所述初始口型图像序列作为所述目标口型图像序列。4.如权利要求3所述的虚拟人物的生成方法，其特征在于，所述通过所述解码器对所述拼接后的特征向量进行解码，生成初始口型图像序列的步骤之后，还包括：将所述初始口型图像序列对应的图像特征与所述原始图像序列对应的图像特征进行比对，并确定所述初始口型图像序列与所述原始图像序列的不同区域；判断所述不同区域中是否存在除唇部关键点位置之外的区域；若所述不同区域中不存在除唇部关键点位置之外的区域，则将所述初始口型图像序列作为所述目标口型图像序列；若所述不同区域中存在除所述唇部关键点位置之外的区域，则根据所述原始图像序列，对所述初始口型图像序列中除所述唇部关键点位置之外的区域进行调整，生成所述目标口型图像序列。5.如权利要求3所述的虚拟人物的生成方法，其特征在于，所述通过所述解码器对所述拼接后的特征向量进行解码，生成初始口型图像序列的步骤之后，还包括：判断所述初始口型图像序列与所述待播放音频的音频信息是否同步；若所述初始口型图像序列与所述待播放音频的音频信息同步，则将所述初始口型图像序列作为所述目标口型图像序列。6.如权利要求3所述的虚拟人物的生成方法，其特征在于，所述通过所述解码器对所述拼接后的特征向量进行解码，生成初始口型图像序列的步骤之后，还包括：2CN114219879A权利要求书2/2页获取所述初始口型图像序列中的相邻两帧图像的光流变化值，并判断所述初始口型图像序列中是否存在相邻两帧图像的光流变化值超过预设光流阈值；若所述初始口型图像序列中不存在相邻两帧图像的光流变化值超过所述光流阈值，则将