图像生成方法、风格迁移模型的训练方法及相关设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115019372A(43)申请公布日2022.09.06(21)申请号202210740473.X(22)申请日2022.06.27(71)申请人北京奇艺世纪科技有限公司地址100080北京市海淀区北一街2号10、11层(72)发明人邢晨(74)专利代理机构北京银龙知识产权代理有限公司11243专利代理师龚素素(51)Int.Cl.G06V40/16(2022.01)G06V10/26(2022.01)G06V10/774(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书20页附图5页(54)发明名称图像生成方法、风格迁移模型的训练方法及相关设备(57)摘要本发明实施例提供了一种图像生成方法、风格迁移模型的训练方法及相关设备，其中，所述图像生成方法包括：获取第一人脸图像的RGB图像；获取所述第一人脸图像中目标区域对应的特征图像；其中，所述目标区域用于表示目标特征所在的区域，所述目标特征包括人脸特征和以下至少一者：眼睛特征、嘴巴特征和鼻子特征；将所述RGB图像和所述特征图像输入至预先训练的风格迁移模型进行风格迁移，得到第二人脸图像，所述第二人脸图像是将所述第一人脸图像进行风格迁移后得到的人脸图像。本发明实施例提供的方法可以提高人脸风格迁移的稳定性。CN115019372ACN115019372A权利要求书1/4页1.一种图像生成方法，其特征在于，包括：获取第一人脸图像的红绿蓝RGB图像；获取所述第一人脸图像中目标区域对应的特征图像；其中，所述目标区域用于表示目标特征所在的区域，所述目标特征包括人脸特征和以下至少一者：眼睛特征、嘴巴特征和鼻子特征；将所述RGB图像和所述特征图像输入至预先训练的风格迁移模型进行风格迁移，得到第二人脸图像，所述第二人脸图像是将所述第一人脸图像进行风格迁移后得到的人脸图像。2.根据权利要求1所述的方法，其特征在于，所述获取所述第一人脸图像中目标区域对应的特征图像，包括：获取所述第一人脸图像中关键点集合，所述关键点集合包括用于表示所述目标特征的轮廓信息的坐标点；基于所述目标区域的关键点集合生成所述目标区域对应的特征图像。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第一人脸图像进行人脸分割，确定所述第一人脸图像中的第一区域和第二区域，所述第一区域用于表示人像特征所在的区域，所述第二区域用于表示背景特征所在的区域；对所述第一区域进行色彩调整，得到第三人脸图像，所述第三人脸图像是将所述第一人脸图像的所述第一区域进行色彩调整后得到的人脸图像；将所述第三人脸图像和所述第二人脸图像进行合成渲染，得到第四人脸图像。4.根据权利要求1所述的方法，其特征在于，所述风格迁移模型包括：降采样模块，所述降采样模块用于对所述RGB图像和所述特征图像进行降采样和特征提取，得到第一特征图；第一残差模块，所述第一残差模块用于对所述第一特征图进行特征提取和第一归一化处理，得到第二特征图；第二残差模块，所述第二残差模块用于对所述第二特征图进行风格化处理和第二归一化处理，得到第三特征图；上采样模块，所述上采样模块用于对所述第三特征图进行上采样和特征提取，并基于对所述第三特征图进行上采样和特征提取得到的结果得到所述第二人脸图像。5.根据权利要求4所述的方法，其特征在于，所述风格迁移模型还包括分支卷积层；所述分支卷积层用于对所述RGB图像进行降采样和特征提取，得到第四特征图，并将所述第四特征图输入至所述上采样模块；所述上采样模块包括第一子模块和第二子模块，所述第一子模块用于对所述第三特征图进行上采样和特征提取，所述第二子模块用于将所述第一子模块的输出结果与所述第四特征图相加获得所述第二人脸图像。6.根据权利要求4所述的方法，其特征在于，所述风格迁移模型包括参数计算层，所述参数计算层用于基于所述第一特征图确定目标参数，并将所述目标参数输入至所述第二残差模块；其中，所述第二归一化处理包括基于所述目标参数进行归一化处理。2CN115019372A权利要求书2/4页7.根据权利要求4所述的方法，其特征在于，所述降采样模块包括依次连接的第一个降采样子模块、N个中间降采样子模块和最后一个降采样子模块，N为正整数，其中，所述降采样子模块包括：第一卷积层，所述第一卷积层用于对输入的第一图像进行降采样和特征提取，得到第一子特征图；第一归一化层，所述第一归一化层用于对所述第一子特征图进行归一化处理，得到输出的第一结果；其中，所述第一个降采样子模块对应的所述第一图像为所述RGB图像和所述特征图像，对应的所述第一结果为第二子特征图；所述中间降采样子模块对应的所述第一图像为前一个所述降采样子模块输出的第一结果，对应的所述第一结果为第