图像生成方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850212A(43)申请公布日2021.12.28(21)申请号202111151607.6(22)申请日2021.09.29(71)申请人北京字跳网络技术有限公司地址100190北京市海淀区紫金数码园4号楼2层0207(72)发明人刘礼杰(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图5页(54)发明名称图像生成方法、装置、设备及存储介质(57)摘要本公开实施例公开了一种图像生成方法、装置、设备及存储介质。包括：获取包含目标人体的第一人体图像及包含目标衣物的第一衣物图像；对所述第一人体图像分别进行关键点提取、人像分割及人体部位分割，获得关键点特征图、人像分割图及人体部位分割图；将所述关键点特征图、所述人像分割图、所述人体部位分割图及所述第一衣物图像输入形变模型中，获得变形后的第二衣物图像；将所述第二衣物图像、第一人体图像、所述关键点特征图、所述人像分割图及所述人体部位分割图输入混合模型，获得第二人体图像；其中，所述第二人体图像中的所述目标人体穿戴所述目标衣物。本发明实施例提供的图像生成方法，可以提高生成图像的真实度。CN113850212ACN113850212A权利要求书1/2页1.一种图像生成方法，其特征在于，包括：获取包含目标人体的第一人体图像及包含目标衣物的第一衣物图像；对所述第一人体图像分别进行关键点提取、人像分割及人体部位分割，获得关键点特征图、人像分割图及人体部位分割图；将所述关键点特征图、所述人像分割图、所述人体部位分割图及所述第一衣物图像输入形变模型中，获得变形后的第二衣物图像；将所述第二衣物图像、所述第一人体图像、所述关键点特征图、所述人像分割图及所述人体部位分割图输入混合模型，获得第二人体图像；其中，所述第二人体图像中的所述目标人体穿戴所述目标衣物。2.根据权利要求1所述的方法，其特征在于，对所述第一人体图像分别进行关键点提取、人像分割及人体部位分割，获得关键点特征图、人像分割图及人体部位分割图，包括：将所述第一人体图像分别输入关键点提取模型、人像分割模型及人体部位分割模型，获得关键点特征图、人像分割图及人体部位分割图。3.根据权利要求1所述的方法，其特征在于，将所述关键点特征图、所述人像分割图、所述人体部位分割图及所述第一衣物图像输入形变模型中，获得变形后的第二衣物图像，包括：所述形变模型根据所述关键点特征图对所述第一衣物图像进行姿态调整；根据所述人体分割图对姿态调整后的衣物图像进行尺寸调整；根据所述人体部位分割图中的衣物区域对尺寸调整后的衣物图像进行裁剪，获得变形后的第二衣物图像。4.根据权利要求1所述的方法，其特征在于，将所述第二衣物图像、所述第一人体图像、所述关键点特征图、所述人像分割图及所述人体部位分割图输入混合模型，获得第二人体图像，包括：所述混合模型将所述第二衣服图像和所述第一人体图像进行融合，获得初始图像；根据所述关键点特征图对所述初始图像中的衣物姿态进行优化，根据所述人像分割图对所述初始图像中的衣物尺寸进行优化，根据所述述人体部位分割图对所述初始图像中的衣物进行优化裁剪，获得第二人体图像。5.根据权利要求1所述的方法，其特征在于，在对所述第一人体图像分别进行关键点提取之后，人像分割之前，还包括：获取基准关键点分布信息；基于所述基准关键点分布信息对所述第一人体图像的关键点进行调整，获得调整后的第一人体图像。6.根据权利要求5所述的方法，其特征在于，对所述第一人体图像分别进行人像分割及人体部位分割，包括：对调整后的第一人体图像分别进行人像分割及人体部位分割。7.根据权利要求1所述的方法，其特征在于，所述形变模型的训练方式为：获取人体样本图像及衣物样本图像；其中，所述人体样本图像中的人体穿戴所述衣物样本图像中的衣物；对所述人体样本图像分别进行关键点提取、人像分割及人体部位分割，获得关键点特2CN113850212A权利要求书2/2页征样本图、人像分割样本图及人体部位分割样本图；将所述关键点特征样本图、所述人像分割样本图、所述人体部位分割样本图及所述衣物样本图像输入初始模型中，获得第一变形衣物图；根据所述第一变形衣物图及所述人体样本图像计算损失函数；根据所述损失函数训练所述初始模型，获得形变模型。8.根据权利要求7所述的方法，其特征在于，混合模型的训练方式为：将所述关键点特征样本图、所述人像分割样本图、所述人体部位分割样本图及所述衣物样本图像输入形变模型，获得第二变形