图像生成方法、装置、设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113610704A(43)申请公布日2021.11.05(21)申请号202111156886.5(22)申请日2021.09.30(71)申请人北京奇艺世纪科技有限公司地址100080北京市海淀区北一街2号爱奇艺创新大厦10、11层(72)发明人李天琦(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人吕俊秀(51)Int.Cl.G06T3/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图4页(54)发明名称图像生成方法、装置、设备和可读存储介质(57)摘要本发明实施例提供了一种图像生成方法、装置、设备和可读存储介质，该方法包括：获取源图片，将源图片输入下采样模块进行下采样，得到下采样模块输出的中间特征图，通过参数提取模块从源图片中提取语义信息，将中间特征图输入上采样模块进行上采样，并在目标上采样层的输出中添加语义信息，以基于中间特征图生成目标图片。从源图片中提取语义信息添加到上采样层的输出中，可以将源图片中的图像特征融合到目标图片中，从而可以提高模型融合特征的能力，可以提高目标图片与源图片之间的关联度。CN113610704ACN113610704A权利要求书1/2页1.一种图像生成方法，其特征在于，应用于电子设备，所述电子设备预置有预先训练得到的图像生成模型，所述图像生成模型包括下采样模块和上采样模块，所述上采样模块包括顺序连接的多个上采样层，以及目标上采样层对应的参数提取模块；所述方法包括：获取源图片；将所述源图片输入所述下采样模块进行下采样，得到所述下采样模块输出的中间特征图；通过所述参数提取模块从所述源图片中提取语义信息；将所述中间特征图输入所述上采样模块进行上采样，并在所述目标上采样层的输出中添加所述语义信息，以基于所述中间特征图生成目标图片。2.根据权利要求1所述的方法，其特征在于，所述通过所述参数提取模块从所述源图片中提取语义信息，包括：通过空间自适应归一化的方式，从所述源图片中提取所述语义信息。3.根据权利要求1所述的方法，其特征在于，在所述目标上采样层的输出中添加所述语义信息之后，还包括：对添加语义信息后的输出依次进行分组卷积和交换通道，以混合所述目标上采样层的输出中的图像特征。4.根据权利要求1所述的方法，其特征在于，所述获取源图片，包括：获取原始图片；将所述原始图片像素重组为目标尺寸和目标通道数的所述源图片，以保留所述原始图片中的像素信息；其中，所述目标尺寸小于所述原始图片的尺寸，所述目标通道数大于所述原始图片的通道数。5.根据权利要求1所述的方法，其特征在于，所述下采样模块中包括一个或多个下采样层，所述下采样层中包括一个或多个卷积层；在所述将所述源图片输入所述下采样模块进行下采样，得到所述下采样模块输出的中间特征图时，包括：对目标卷积层的输入进行分组卷积，得到多组卷积结果，并将所述多组卷积结果交换通道后输出。6.根据权利要求1‑5中任一项所述的方法，其特征在于，在所述目标上采样层的输出中添加所述语义信息之前，还包括：对所述目标上采样层的输出进行归一化处理。7.一种图像生成装置，其特征在于，设置于电子设备，所述电子设备预置有预先训练得到的图像生成模型，所述图像生成模型包括下采样模块和上采样模块，所述上采样模块包括顺序连接的多个上采样层，以及目标上采样层对应的参数提取模块；所述装置包括：获取模块，用于获取源图片；输出模块，用于将所述源图片输入所述下采样模块进行下采样，得到所述下采样模块输出的中间特征图；提取模块，用于通过所述参数提取模块从所述源图片中提取语义信息；生成模块，用于将所述中间特征图输入所述上采样模块进行上采样，并在所述目标上采样层的输出中添加所述语义信息，以基于所述中间特征图生成目标图片。2CN113610704A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于通过空间自适应归一化的方式，从所述源图片中提取所述语义信息。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的所述计算机程序时，实现权利要求1‑6任一项所述的方法。10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1‑6中任一项所述的方法。3CN113610704A说明书1/10页图像生成方法、装置、设备和可读存储介质技术领域[0001]本发明涉及计算机领域，特别是涉及一种图像生成方法、装置、设备和可读存储介质。背景技术[0