图像迁移方法和图像迁移模型的训练方法、装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187168A(43)申请公布日2022.03.15(21)申请号202111502745.4G06V10/82(2022.01)(22)申请日2021.12.09G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人梁柏荣周航郭知智洪智滨(74)专利代理机构中科专利商标代理有限责任公司11021代理人吕朝蕙(51)Int.Cl.G06T3/00(2006.01)G06T3/40(2006.01)G06K9/62(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)权利要求书7页说明书18页附图8页(54)发明名称图像迁移方法和图像迁移模型的训练方法、装置(57)摘要本公开提供了一种图像迁移方法和图像迁移模型的训练方法、装置、设备、介质，涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。图像迁移方法包括：提取第一图像包括的第一对象的第一属性特征；根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。CN114187168ACN114187168A权利要求书1/7页1.一种图像迁移方法，包括：提取第一图像包括的第一对象的第一属性特征；根据针对所述第一图像的音频数据，提取所述第一对象包括的第一目标部位的第一形状特征；提取第二图像包括的第二对象的第一身份特征；以及基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征和所述第一形状特征的第二对象。2.根据权利要求1所述的方法，其中，所述第一属性特征包括第一表情特征；所述提取第一图像包括的第一对象的第一属性特征包括：基于所述第一目标部位在所述第一图像中的第一位置信息，确定所述第一图像中除所述第一目标部位所在区域外其他区域的图像，获得第一子图像；以及根据所述第一子图像，提取所述第一表情特征。3.根据权利要求2所述的方法，其中，所述第一图像包括视频数据中的视频帧；所述根据所述第一图像中除所述第一子图像外的图像，提取所述第一表情特征包括：确定所述视频数据中包括所述第一对象的目标图像，所述目标图像的播放时间与所述第一图像的播放时间之间的差值小于预定值；确定所述目标图像中所述第一目标部位所在区域的图像，作为第二子图像；融合所述第二子图像和所述第一子图像，得到融合图像；以及根据所述融合图像，提取所述第一表情特征。4.根据权利要求1所述的方法，其中，所述第一属性特征包括第一姿态特征；所述提取第一图像包括的第一对象的第一属性特征包括：基于所述第一对象包括的第一目标部位和第二目标部位各自在所述第一图像中的位置信息，确定所述第一图像中除所述第一目标部位所在区域和第二目标部位所在区域外其他区域的图像，获得第三子图像；以及根据所述第三子图像，提取所述第一姿态特征。5.根据权利要求1所述的方法，其中，所述根据针对所述第一图像的音频数据；提取所述第一对象包括的第一目标部位的第一形状特征包括：基于所述第一目标部位在所述第一图像中的第一位置信息，确定所述第一图像中所述第一目标部位所在区域的图像，获得第四子图像；根据所述第四子图像，提取所述第一目标部位的形状特征，作为第一子特征；根据所述音频数据的音频特征，提取所述第一目标部位的形状特征，作为第二子特征；以及融合所述第一子特征和所述第二子特征，得到所述第一形状特征。6.根据权利要求1所述的方法，还包括：检测包括所述第一对象的模板图像，得到所述第一对象在所述模板图像中的第二位置信息；以及基于所述第二位置信息裁剪所述模板图像，获得所述第一图像。7.根据权利要求6所述的方法，其中，所述基于所述第二位置信息裁剪所述模板图像，获得所述第一图像包括：2CN114187168A权利要求书2/7页基于所述第二位置信息裁剪所述模板图像，得到第一中间图像；对所述第一中间图像进行图像分割处理，得到所述第一中间图像中目标对象的第三位置信息；所述目标对象包括所述第一对象；基于所述第三位置信息，生成针对所述目标对象的掩膜图像；以及基于所述掩膜图像去除所述第一中间图像中的背景图像，得到所述第一图像。8.根据权利要求1～4中任一项所述的方法，其中，提取第一图像包括的第一对象的第一属性特征包括：对所述第一图像进行数据增强处理，得到增强后图像；以及基于所述增强后图像，提取所述第一属性