图像处理方法、图像处理装置、存储介质和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761988A(43)申请公布日2021.12.07(21)申请号202010508016.9(22)申请日2020.06.05(71)申请人北京灵汐科技有限公司地址100080北京市海淀区北四环西路67号8层801(72)发明人郭明坤(74)专利代理机构北京睿派知识产权代理事务所(普通合伙)11597代理人刘锋(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书8页附图3页(54)发明名称图像处理方法、图像处理装置、存储介质和电子设备(57)摘要本公开实施例公开了一种图像处理方法、图像处理装置、存储介质和电子设备。本公开实施例根据原始图像序列提取包括原始关键点信息的时间序列，同时获取包括声学特征的音频序列，并根据音频序列对至少一个原始关键点信息进行调整，以获取目标图像序列。通过本公开实施例的方法，可以较为快速且准确地对图像进行调整，从而提升图像与音频的匹配度，增强观看体验。CN113761988ACN113761988A权利要求书1/2页1.一种图像处理方法，其特征在于，所述方法包括：获取原始图像序列，所述原始图像序列为包括原始关键点信息的时间序列；获取音频序列，所述音频序列为包括声学特征的时间序列；根据所述音频序列对所述原始图像序列中的所述原始关键点信息进行调整，以形成目标图像序列。2.根据权利要求1所述的方法，其特征在于，所述原始关键点信息包括唇部关键点信息；所述获取原始图像序列包括：对所述原始图像序列中的原始图像进行面部检测获取各所述原始图像的面部区域信息；根据各所述面部区域信息获取各所述原始图像的唇部关键点信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述音频序列对所述原始图像序列中的所述原始关键点信息进行调整，以形成目标图像序列包括：获取所述声学特征对应的唇部特征，所述唇部特征包括唇部宽度和唇部高度；根据所述唇部特征对所述原始关键点信息进行调整，获取目标关键点信息；根据所述目标关键点信息确定关键点序列，所述关键点序列为包括至少一个目标关键点信息的时间序列；根据所述关键点序列对所述原始图像序列进行调整，获取所述目标图像序列。4.根据权利要求3所述的方法，其特征在于，所述根据所述音频序列对所述原始图像序列中的所述原始关键点信息进行调整，以形成目标图像序列还包括：在所述根据所述唇部特征对所述原始关键点信息进行调整，获取目标关键点信息之前，获取所述声学特征对应的情绪系数，所述情绪系数用于表征情绪的强烈程度；并且，所述根据所述唇部特征对所述原始关键点信息进行调整，获取目标关键点信息包括：根据所述唇部特征以及所述情绪系数对所述原始关键点信息进行调整，获取所述目标关键点信息。5.根据权利要求3所述的方法，其特征在于，所述根据所述唇部特征对所述原始关键点信息进行调整，获取目标关键点信息包括：当相邻声学特征的时间戳间隔小于预定阈值时，则将所述时间戳间隔所对应的原始关键点信息调整为与其相邻的所述声学特征的目标关键点信息。6.根据权利要求3所述的方法，其特征在于，所述获取所述声学特征对应的唇部特征包括：对所述音频序列进行语音识别，获取所述声学特征对应的识别结果，所述识别结果用于表征字符或音素；根据各所述识别结果获取所述声学特征对应的唇部特征。7.根据权利要求3所述的方法，其特征在于，所述获取所述声学特征对应的唇部特征包括：获取所述声学特征对应的情绪系数，所述情绪系数用于表征情绪的强烈程度；基于预先训练的分类模型，根据所述声学特征以及所述情绪系数确定各所述唇部特2CN113761988A权利要求书2/2页征，所述分类模型基于历史数据训练获得。8.根据权利要求1所述的方法，其特征在于，所述根据所述关键点序列对所述原始图像序列进行调整，获取所述目标图像序列包括：根据至少一个所述目标关键点信息对所述原始图像序列中至少一个原始图像中的所述原始关键点信息进行替换，获取目标图像；根据各所述目标图像确定所述目标图像序列。9.根据权利要求1-8中任一项所述的方法，其特征在于，所述声学特征用于表征音频信号强度以及音频信号频率中的至少一项。10.一种图像处理装置，其特征在于，所述装置包括：图像获取单元，用于获取原始图像序列，所述原始图像序列为包括原始关键点信息的时间序列；音频获取单元，用于获取音频序列，所述音频序列为包括声学特征的时间序列；调整单元，用于根据所述音频序列对所述原始图像序列中的所述原始关键点信息进行调整，以形成目标图像序列。11.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-9中任一项所述的方法。12.一种电子设备，包括存储器和处