图像转换方法、模型训练方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113971631A(43)申请公布日2022.01.25(21)申请号202010723998.3(22)申请日2020.07.24(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人杨涛谢宣松任沛然(74)专利代理机构北京太合九思知识产权代理有限公司11610代理人孙明子刘戈(51)Int.Cl.G06T3/40(2006.01)权利要求书4页说明书15页附图7页(54)发明名称图像转换方法、模型训练方法、装置、设备和存储介质(57)摘要本发明实施例提供一种图像转换方法、模型训练方法、装置、设备和存储介质，该图像转换方法包括：获取包含目标对象的第一图像，并将此图像输入图像编码网络中。将图像编码网络中的特征提取层提取出的第一图像特征作为随机噪声输入生成网络，同时将图像编码网络中的特征映射层提取出的第二图像特征作为随机潜码输入生成网络。生成网络可以根据输入的两图像特征生成包含目标对象的第二图像，且两图像的分辨率不同。通过该方案，可以实现生成的第二图像具有较高的清晰度，且其中包含的目标对象与第一图像中的目标对象具有一致性，也即是实现了图像由低分辨率到高分辨率的转换。CN113971631ACN113971631A权利要求书1/4页1.一种图像转换方法，其特征在于，包括：获取包含目标对象的第一图像；将所述第一图像输入到图像编码网络中，所述图像编码网络中包括特征提取层和特征映射层；将所述特征提取层输出的第一图像特征作为随机噪声输入生成网络，将所述特征映射层输出的第二图像特征作为随机潜码输入所述生成网络，以由所述生成网络生成包含所述目标对象的第二图像，所述第一图像的分辨率与所述第二图像的分辨率不同。2.根据权利要求1所述的方法，其特征在于，所述生成网络中包含多个生成模块，所述多个生成模块中的任一生成模块使用同一所述第一图像特征经过缩放变换处理后的处理结果。3.根据权利要求2所述的方法，其特征在于，所述生成模块中包含卷积层和风格迁移层；所述将所述特征提取层输出的第一图像特征作为随机噪声输入生成网络，将所述特征映射层输出的第二图像特征作为随机潜码输入所述生成网络，包括：拼接所述卷积层输出的图像特征以及所述第一图像特征经过缩放变换后的处理结果；将拼接结果以及所述第二图像特征经过映射处理后的处理结果输入所述风格迁移层。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述目标对象包括人脸。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一图像的分辨率低于所述第二图像的分辨率。6.一种图像转换方法，其特征在于，包括：响应于用户在操作界面上触发的输入操作，接收所述用户输入的第一图像，所述第一图像包含目标对象；将所述第一图像输入到图像编码网络中，所述图像编码网络中包括特征提取层和特征映射层；将所述特征提取层输出的第一图像特征作为随机噪声输入生成网络，将所述特征映射层输出的第二图像特征作为随机潜码输入所述生成网络，以由所述生成网络生成包含所述目标对象的第二图像，所述第一图像的分辨率与所述第二图像的分辨率不同；在所述操作界面上展示所述第二图像。7.一种模型训练方法，其特征在于，包括：训练第一生成网络；将包含目标对象的第一图像输入第一图像编码网络，以由所述第一图像编码网络对所述第一图像进行特征提取；将提取出的图像特征输入所述第一生成网络，以由所述第一生成网络生成包含所述目标对象的第二图像，其中，所述第一图像的分辨率与所述第二图像的分辨率不同；根据所述第二图像进行网络训练，以得到第二生成网络和第二图像编码网络。8.根据权利要求7所述的方法，其特征在于，所述目标对象包括人脸。9.根据权利要求7所述的方法，其特征在于，所述根据所述第一生成网络生成的第二图像进行网络训练，包括：根据所述第二图像与包含所述目标对象的第三图像之间的相似度，进行网络训练，其2CN113971631A权利要求书2/4页中，所述第二图像与所述第三图像的分辨率差值小于预设阈值。10.根据权利要求7所述的方法，其特征在于，所述方法还包括：将所述第二图像输入第一判别网络，以由所述第一判别网络输出判别结果；根据所述第一判别网络输出的判别结果训练所述第一判别网络，以得到第二判别网络；所述根据所述第二图像进行网络训练，包括：将所述第二图像输入所述第二判别网络，以得到判别结果；根据所述第二判别网络输出的判别结果进行网络训练。11.根据权利要求10所述的方法，其特征在于，所述训练第一生成网络，包括：根据由噪声数据生成的图像进行网络训练，以得到所述第一判别网络；将所述由噪声数据生成的图像输入所述第一判别网络，以由所述第一判别网络输出判别结果；根据所述第一判别网络输出