基于风格迁移的图像生成方法、系统、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112669308A(43)申请公布日2021.04.16(21)申请号202110014885.0(22)申请日2021.01.06(71)申请人携程旅游信息技术（上海）有限公司地址201203上海市浦东新区自由贸易试验区碧波路518号302室(72)发明人康睿文罗超成丹妮邹宇李巍(74)专利代理机构上海隆天律师事务所31282代理人夏彬(51)Int.Cl.G06T7/00(2017.01)G06T9/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书9页附图3页(54)发明名称基于风格迁移的图像生成方法、系统、设备及存储介质(57)摘要本发明提供了一种基于风格迁移的图像生成方法、系统、设备及存储介质，该方法包括：采集需要风格迁移的内容图像和对应不同风格的风格图像；将所述风格图像和所述需要风格迁移的内容图像分别输入图像生成模型的编码网络，得到风格图像编码和内容图像编码；将所述风格图像编码和所述内容图像编码输入所述图像生成模型的解码网络，得到风格迁移后的生成图像。本发明基于图像风格迁移技术，建立全新的图像生成模型，能够实现轻量级、快速的图像不同时段下重新渲染的图像生成任务，解决了单一场景下，图像单一的情况，实现在不同时段光照条件下，生成高分辨率、高质量图像。CN112669308ACN112669308A权利要求书1/2页1.一种基于风格迁移的图像生成方法，其特征在于，包括如下步骤：采集需要风格迁移的内容图像和对应不同风格的风格图像；将所述风格图像和所述需要风格迁移的内容图像分别输入图像生成模型的编码网络，得到风格图像编码和内容图像编码；将所述风格图像编码和所述内容图像编码输入所述图像生成模型的解码网络，得到风格迁移后的生成图像。2.根据权利要求1所述的基于风格迁移的图像生成方法，其特征在于，将所述风格图像编码和所述内容图像编码输入所述图像生成模型的解码网络，得到风格迁移后的生成图像，包括如下步骤：将所述风格图像编码和所述内容图像编码输入所述图像生成模型的解码器，得到编码图像；将所述编码图像输入所述解码网络的解码层，得到风格迁移后的生成图像。3.根据权利要求2所述的基于风格迁移的图像生成方法，其特征在于，将所述风格图像编码和所述内容图像编码输入所述图像生成模型的解码器包括：将各个所述内容图像编码分别和所对应的风格图像编码组合后，输入所述图像生成模型的解码网络中不同解码器的AdaIN模块，得到各个所述解码器输出的编码图像。4.根据权利要求1所述的基于风格迁移的图像生成方法，其特征在于，所述图像生成模型为生成式对抗网络，所述图像生成模型包括生成器，所述生成器包括所述编码网络和所述解码网络。5.根据权利要求1所述的基于风格迁移的图像生成方法，其特征在于，所述采集需要风格迁移的内容图像，包括如下步骤：采集具有第一分辨率的原始内容图像；获取所述原始内容图像的多个具有第二分辨率的子图像，所述第二分辨率小于所述第一分辨率；将所述子图像作为需要风格迁移的内容图像。6.根据权利要求5所述的基于风格迁移的图像生成方法，其特征在于，所述得到风格迁移后的生成图像之后，还包括如下步骤：将各个所述子图像所对应的生成图像融合，得到所述原始内容图像所对应的的增强图像。7.根据权利要求6所述的基于风格迁移的图像生成方法，其特征在于，获取所述原始内容图像的多个具有第二分辨率的子图像，包括如下步骤：将所述原始内容图像拆分得到多个不同移位版本的移位子图像；对每一个移位子图像进行双线性下采样得到具有第二分辨率的子图像。8.根据权利要求7所述的基于风格迁移的图像生成方法，其特征在于，将所述原始内容图像拆分得到多个不同移位版本的移位子图像，包括如下步骤：确定各个移位子图像的移位位置像素点；对于各个移位子图像，在其移位位置像素点处保留所述原始内容图像对应位置的像素值，其他位置的像素值置为0，得到具有第一分辨率的移位子图像。9.根据权利要求8所述的基于风格迁移的图像生成方法，其特征在于，所述将各个所述2CN112669308A权利要求书2/2页子图像所对应的生成图像融合，得到所述原始内容图像所对应的的增强图像，包括如下步骤：根据各个所述子图像中像素点位置与所述原始内容图像的像素点位置的对应关系，将各个具有第二分辨率的所述生成图像融合，得到具有第一分辨率的增强图像。10.根据权利要求1所述的基于风格迁移的图像生成方法，其特征在于，所述对应不同风格的风格图像为对应于不同光照条件的风格图像；所述风格迁移后的生成图像为所述内容图像对应于不同光照条件下的风格迁移图像。11.一种基于风格迁移的图像生成系统，用于实现权利要求1至10中任一项所述的基于风格迁移的图像生成方法，其特征在于，