场景图像生成方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187387A(43)申请公布日2022.03.15(21)申请号202111502267.7(22)申请日2021.12.09(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人李志航刘锦龙王华彦(74)专利代理机构华进联合专利商标代理有限公司44224代理人虞凌霄(51)Int.Cl.G06T11/60(2006.01)G06T11/00(2006.01)权利要求书2页说明书14页附图7页(54)发明名称场景图像生成方法、装置、电子设备及存储介质(57)摘要本公开关于一种场景图像生成方法、装置、电子设备及存储介质。所述方法包括：获取语言指令、待布局的场景素材，以及与场景素材对应的第一布局信息；根据第一布局信息确定场景素材之间的布局关系，生成第一场景图像；确定语言指令与第一场景图像之间的第一相关度，根据第一相关度对第一布局信息进行调整，生成目标布局信息；根据目标布局信息确定场景素材之间的布局关系，生成目标场景图像。根据本公开的方案，可以实现在自然语言描述的基础上自动化地、准确地对布局场景素材，进而生成准确性较高的场景图像。CN114187387ACN114187387A权利要求书1/2页1.一种场景图像生成方法，其特征在于，包括：获取语言指令、待布局的场景素材，以及与所述场景素材对应的第一布局信息；根据所述第一布局信息确定所述场景素材之间的布局关系，生成第一场景图像；确定所述语言指令与所述第一场景图像之间的第一相关度，根据所述第一相关度对所述第一布局信息进行调整，生成目标布局信息；根据所述目标布局信息确定所述场景素材之间的布局关系，生成目标场景图像。2.根据权利要求1所述的场景图像生成方法，其特征在于，所述根据所述第一布局信息确定所述场景素材之间的布局关系，生成第一场景图像，确定所述语言指令与所述第一场景图像之间的第一相关度，根据所述第一相关度对所述第一布局信息进行调整，生成目标布局信息，包括：对所述第一布局信息进行迭代调整，针对当前次的迭代调整过程执行以下处理：根据所述第一布局信息确定所述场景素材之间的布局关系，生成第一场景图像，确定所述语言指令与所述第一场景图像之间的第一相关度，根据所述第一相关度以及所述第一布局信息，生成下一次布局信息；在当前迭代调整满足停止条件时，将所述下一次布局信息作为所述目标布局信息；在当前迭代调整不满足所述停止条件时，将所述下一次布局信息作为下一次迭代使用的第一布局信息。3.根据权利要求2所述的场景图像生成方法，其特征在于，所述第一布局信息中包括多个布局参数；所述根据所述第一布局信息确定所述场景素材之间的布局关系，生成第一场景图像，确定所述语言指令与所述第一场景图像之间的第一相关度，根据所述第一相关度以及所述第一布局信息，生成下一次布局信息，包括：在当前次迭代调整的执行过程中，对当前的所述第一布局信息进行多次循环调整，针对当前次的循环调整过程执行以下处理：根据第二布局信息确定所述场景素材之间的布局关系，生成第二场景图像，确定所述语言指令与所述第二场景图像之间的第二相关度，所述第二布局信息为通过上一次循环调整得到的布局信息；对所述第二布局信息中的一个或者多个所述布局参数进行调整，生成与所述第二布局信息对应的参考布局信息；根据所述参考布局信息确定所述场景素材之间的布局关系，生成参考场景图像，并确定所述语言指令与所述参考场景图像之间的参考相关度；根据所述参考相关度、所述第二相关度以及所述参考布局信息，确定新的第二布局信息；在当前循环次数达到预设次数时，将所述新的第二布局信息作为所述下一次布局信息；在当前循环次数未达到预设次数时，将所述新的第二布局信息作为下一次循环调整使用的第二布局信息。4.根据权利要求2或3所述的场景图像生成方法，其特征在于，所述第一布局信息为仿射变换矩阵；2CN114187387A权利要求书2/2页所述仿射变换矩阵至少包括预先配置的缩放参数和平移参数。5.根据权利要求1所述的场景图像生成方法，其特征在于，所述确定所述语言指令与所述第一场景图像之间的第一相关度，包括：生成与所述语言指令对应的语言特征，以及与所述第一场景图像对应的场景特征，获取所述语言特征与所述场景特征之间的第一相关度。6.根据权利要求1所述的场景图像生成方法，其特征在于，所述确定所述语言指令与所述第一场景图像之间的第一相关度，包括：通过多模态模型分别对所述语言指令进行特征提取，得到所述语言指令的语言特征，对所述第一场景图像进行特征提取，得到所述第一场景图像的场景特征，并确定所述语言特征与所述场景特征之间的第一相关度。7.一种场景图像生成装置，其特征在于，包括：获取模块，