图像生成方法、装置和电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115018954A(43)申请公布日2022.09.06(21)申请号202210941909.1(22)申请日2022.08.08(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人吴凌翔王金桥牛蕴方(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师常芳(51)Int.Cl.G06T11/00(2006.01)G06T5/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书13页附图5页(54)发明名称图像生成方法、装置和电子设备(57)摘要本发明提供一种图像生成方法、装置和电子设备，涉及图像生成技术领域，解决了如何生成与目标文本的文本内容相匹配的目标无噪声图像的问题。该方法包括：可以先获取待处理的噪声图像、噪声图像对应的目标文本、目标加噪阶段和随机非空文本；并基于噪声图像、目标文本、目标加噪阶段以及随机非空文本，对噪声图像进行去噪处理，生成目标无噪声图像；其中，目标无噪声图像的图像内容与目标文本的文本内容的匹配度大于第一阈值。这样将目标文本和随机非空文本作为去噪处理过程中的引导信息，对噪声图像进行去噪处理，可以生成与目标文本的文本内容相匹配的目标无噪声图像，从而提高了生成的目标无噪声图像的准确度。CN115018954ACN115018954A权利要求书1/2页1.一种图像生成方法，其特征在于，包括：获取待处理的噪声图像、所述噪声图像对应的目标文本和目标加噪阶段和随机非空文本；基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，生成目标无噪声图像；其中，所述目标无噪声图像的图像内容与所述目标文本的文本内容的匹配度大于第一阈值。2.根据权利要求1所述的图像生成方法，其特征在于，所述基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，生成目标无噪声图像，包括：S1、将所述噪声图像、所述目标文本以及所述目标加噪阶段输入至扩散模型中的图像去噪模型中，得到第一参数；并将所述噪声图像、所述随机非空文本以及所述目标加噪阶段输入至所述图像去噪模型中，得到第二参数；S2、根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像；S3、更新所述目标加噪阶段，判断更新后的加噪阶段是否等于第二阈值；S4、在确定所述更新后的加噪阶段等于第二阈值的情况下，则将所述噪声图像在所述目标加噪阶段对应的无噪声图像，确定为所述目标无噪声图像；S5、在确定所述更新后的加噪阶段大于所述第二阈值的情况下，则确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，并将所述前一次加噪阶段对应的噪声图像确定为所述待处理的噪声图像，将所述更新后的加噪阶段确定为所述目标加噪阶段，将新的随机非空文本确定为所述随机非空文本，重复执行上述S1‑S5，直至更新后的加噪阶段等于第二阈值，并将所述噪声图像在所述更新后的加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。3.根据权利要求2所述的图像生成方法，其特征在于，所述第一参数包括第一均值和第一方差，所述第二参数包括第二均值，所述根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像，包括：对所述第一均值和所述第二均值进行融合，得到对应的目标均值；根据所述目标均值和所述第一方差，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。4.根据权利要求3所述的图像生成方法，其特征在于，所述对所述第一均值和所述第二均值进行融合，得到对应的目标均值，包括：确定所述第一均值和所述第二均值的差值，并确定所述差值与其对应的权重之间的乘积；将所述第二均值与所述乘积的和，确定为所述目标均值。5.根据权利要求2‑4任一项所述的图像生成方法，其特征在于，所述确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，包括：根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像以及所述第一参数中的第一方差，生成所述前一次加噪阶段对应的噪声图像。6.根据权利要求5所述的图像生成方法，其特征在于，所述根据所述噪声图像、所述噪2CN115018954A权利要求书2/2页声图像在所述目标加噪阶段对应的无噪声图像以及所述第一方差，生成所述前一次加噪阶段对应的噪声图像，包括：根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像，以及所述第一方差确定第三均值；基于所述第一方差确定第二方差；根据所述第三均值和所述第二方差，生成所述前一次加噪阶段对应的噪声图像。7.根据权利要求2‑4任一项所述的图像生成方法，其特征在于，所述图像去噪模型是基于多个噪声图像样本、所述多个噪声图像样本各