图像生成方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642673A(43)申请公布日2021.11.12(21)申请号202111015596.9(22)申请日2021.08.31(71)申请人北京字跳网络技术有限公司地址100190北京市海淀区紫金数码园4号楼2层0207(72)发明人易子立何茜(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06K9/62(2006.01)权利要求书2页说明书11页附图2页(54)发明名称图像生成方法、装置、设备及存储介质(57)摘要本公开实施例公开了一种图像生成方法、装置、设备及存储介质。包括：获取目标文本及待匹配图像；将所述目标文本及所述待匹配图像输入图文匹配模型，获得图文匹配度；在所述图文匹配度不满足预设条件的情况下，基于设定策略确定优化参数，并基于所述优化参数对所述待匹配图像进行优化，获得优化后的待匹配图像；将所述目标文本及所述优化后的待匹配图像输入图文匹配模型，获得图文匹配度；在所述图文匹配度满足预设条件的情况下，将满足所述预设条件的待匹配图像确定为目标图像；将所述目标图像和所述目标文本推送至用户。本公开实施例提供的图像生成方法，既能满足生成图像与文本描述的语义一致，又可以提高生成图像的精度。CN113642673ACN113642673A权利要求书1/2页1.一种图像生成方法，其特征在于，包括：获取目标文本及待匹配图像；将所述目标文本及所述待匹配图像输入图文匹配模型，获得图文匹配度；在所述图文匹配度不满足预设条件的情况下，基于设定策略确定优化参数，并基于所述优化参数对所述待匹配图像进行优化，获得优化后的待匹配图像；将所述目标文本及所述优化后的待匹配图像输入图文匹配模型，获得图文匹配度；在所述图文匹配度满足预设条件的情况下，将满足所述预设条件的待匹配图像确定为目标图像；将所述目标图像和所述目标文本推送至用户。2.根据权利要求1所述的方法，其特征在于，基于设定策略确定优化参数，并基于所述优化参数对所述待匹配图像进行优化，获得优化后的待匹配图像，包括：基于梯度反向传播策略确定梯度值，并基于所述梯度值对所述待匹配图像进行优化，获得优化后的待匹配图像。3.根据权利要求2所述的方法，其特征在于，获取待匹配图像，包括：基于预设随机函数生成待匹配图像。4.根据权利要求2或3所述的方法，其特征在于，所述梯度值为所述待匹配图像中各像素点颜色值的变化量，基于所述梯度值对所述待匹配图像进行调整，获得优化后的待匹配图像，包括：基于所述梯度值对所述待匹配图像中各像素点的颜色值进行调整，获得优化后的待匹配图像。5.根据权利要求2所述的方法，其特征在于，获取待匹配图像，包括：将像素点坐标输入第一预设神经网络，获得待匹配图像；基于梯度反向传播策略确定梯度值，并基于所述梯度值对所述待匹配图像进行调整，获得优化后的待匹配图像，包括：基于梯度反向传播策略确定第一梯度值；根据所述第一梯度值调整所述第一预设神经网络中的参数；将所述像素点坐标输入调整后的第一预设神经网络，获得优化后的待匹配图像。6.根据权利要求2所述的方法，其特征在于，获取待匹配图像，包括：将高斯向量输入第二预设神经网络，获得待匹配图像；基于梯度反向传播策略确定梯度值，并基于所述梯度值对所述待匹配图像进行调整，获得优化后的待匹配图像，包括：基于梯度反向传播策略确定第二梯度值；根据所述第二梯度值调整所述高斯向量；将调整后的高斯向量输入所述第二预设神经网络，获得优化后的待匹配图像。7.根据权利要求2所述的方法，其特征在于，获取待匹配图像，包括：将笔画元素输入预设渲染器，获得待匹配图像；基于梯度反向传播策略确定梯度值，并基于所述梯度值对所述待匹配图像进行调整，获得优化后的待匹配图像，包括：基于梯度反向传播策略确定第三梯度值；2CN113642673A权利要求书2/2页根据所述第三梯度值调整所述笔画元素；将调整后的笔画元素量输入所述预设渲染器，获得优化后的待匹配图像。8.根据权利要求2所述的方法，其特征在于，获取待匹配图像，包括：从编码库中随机选择多个编码信息，并将所述多个编码信息输入预设解码器中，获得待匹配图像；基于梯度反向传播策略确定梯度值，并基于所述梯度值对所述待匹配图像进行调整，获得优化后的待匹配图像，包括：基于梯度反向传播策略确定第四梯度值；根据所述第四梯度值对所述多个编码信息进行更新；将更新后的多个编码信息输入所述预设解码器中，获得优化后的待匹配图像；其中，所述更新后的多个编码信息存储于所述编码库中。9.根据权利要求1所述的方法，其特征在于，所述图文匹配模型的训练方式为：获取图像数据和文本数据；将所述图像数据和所述文本数据进行配对，获得第一图文配对数据，并将所述第一图文配对数