虚拟试衣及试衣模型训练的方法、装置和设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115994994A(43)申请公布日2023.04.21(21)申请号202310038842.5(22)申请日2023.01.13(71)申请人百果园技术（新加坡）有限公司地址巴西班让路枫树商业城30号楼15层31A(72)发明人李安蒋剑斌李玉乐项伟(74)专利代理机构北京品源专利代理有限公司11332专利代理师高艳红(51)Int.Cl.G06T19/00(2011.01)G06N3/0464(2023.01)G06N3/084(2023.01)权利要求书3页说明书16页附图7页(54)发明名称虚拟试衣及试衣模型训练的方法、装置和设备(57)摘要本申请公开了一种虚拟试衣及试衣模型训练的方法、装置和设备，其中该虚拟试衣方法包括：获取用户输入的目标衣服图像以及试衣对象图像；获取该试衣对象图像的人体区域的目标人体mask图像以及目标人体关键点图像；获取该目标衣服图像对应的目标衣服mask图像；将该目标衣服图像、该目标衣服mask图像、该目标人体mask图像以及该目标人体关键点图像输入至预先生成的试衣模型中；在该试衣模型中，基于接收到的输入数据，预测目标衣服图像对应的目标预测光流，并根据目标预测光流以及该目标衣服图像生成目标形变衣服图像；根据目标形变衣服图像生成试衣效果图像，生成的试衣效果图像更加逼真，解决衣袖扭曲、试穿美感差、清晰度低及贴合度的问题。CN115994994ACN115994994A权利要求书1/3页1.一种虚拟试衣方法，其特征在于，所述方法包括：获取用户输入的目标衣服图像以及试衣对象图像；获取所述试衣对象图像的人体区域的目标人体mask图像以及目标人体关键点图像；获取所述目标衣服图像对应的目标衣服mask图像；将所述目标衣服图像、所述目标衣服mask图像、所述目标人体mask图像以及所述目标人体关键点图像输入至预先生成的试衣模型中；在所述试衣模型中，基于接收到的输入数据，预测所述目标衣服图像对应的目标预测光流，并根据所述目标预测光流以及所述目标衣服图像生成目标形变衣服图像；根据所述目标形变衣服图像生成试衣效果图像。2.一种试衣模型训练的方法，其特征在于，所述方法包括：获取第一训练数据集，所述第一训练数据集中各第一训练数据包括样本衣服图像，以及，所述样本衣服图像对应的样本衣服穿着在人体身上后的第一形变衣服图像；采用所述第一训练数据集训练试衣光流模型；采用所述试衣光流模型生成所述样本衣服图像与所述第一形变衣服图像之间的光流，并基于所述光流与所述样本衣服图像生成光流对数据；获取第二训练数据集，所述第二训练数据集中各第二训练数据包括所述样本衣服图像，以及，所述样本衣服图像对应的样本衣服穿着在人体身上后获得的人体图像；基于所述第二训练数据集以及所述光流对数据训练试衣模型。3.根据权利要求2所述的方法，其特征在于，所述采用所述第一训练数据集训练试衣光流模型，包括：确定所述样本衣服图像与所述第一形变衣服图像之间的训练过程光流；根据所述样本衣服图像与所述训练过程光流，预测所述样本衣服图像对应的样本衣服穿着在人体身上的第二形变衣服图像；根据所述第一形变衣服图像以及所述第二形变衣服图像，确定形变损失；基于所述形变损失进行反向传播，以优化所述试衣光流模型的参数，继续训练所述试衣光流模型，直到所述形变损失达到最优，则所述试衣光流模型训练完成。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一形变衣服图像以及所述第二形变衣服图像，确定形变损失，包括：根据所述第一形变衣服图像以及所述第二形变衣服图像，确定平均绝对误差损失以及感知域损失；将所述平均绝对误差损失与所述感知域损失的和作为所述形变损失。5.根据权利要求2‑4任一项所述的方法，其特征在于，所述获取第一训练数据集，包括：获取全量训练数据集，所述全量训练数据集中的各训练数据包括样本衣服图像，以及，所述样本衣服图像对应的样本衣服穿着在人体身上后的穿衣图像；从所述穿衣图像中提取所述样本衣服，生成第一形变衣服图像；将所述第一形变衣服图像与对应的所述样本衣服图像关联记录为一条第一训练数据；将获得的所有第一训练数据组成第一训练数据集。6.根据权利要求5所述的方法，其特征在于，所述人体图像包括所述人体区域的人体mask图像以及人体关键点图像；2CN115994994A权利要求书2/3页所述获取第二训练数据集，包括：从所述穿衣图像中提取所述人体区域的mask图像，记作人体mask图像；采用预先生成的关键点模型提取所述穿衣图像中所述人体区域的人体关键点图像；从所述样本衣服图像中提取所述样本衣服区域的mask图像，记作样本衣服mask图像；将所述样本衣服图像、所述样本衣服mask图像、所述人体mask图像、所述人体关键点图像关联记录