一种虚拟试衣方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113052980A(43)申请公布日2021.06.29(21)申请号202110458785.7(22)申请日2021.04.27(71)申请人云南大学地址650091云南省昆明市翠湖北路2号(72)发明人普园媛徐俊徐丹赵征鹏周浩袁国武钱文华(74)专利代理机构北京高沃律师事务所11569代理人杜阳阳(51)Int.Cl.G06T19/00(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)G06Q30/06(2012.01)权利要求书3页说明书10页附图2页(54)发明名称一种虚拟试衣方法及系统(57)摘要本发明公开了一种虚拟试衣方法，所述试衣方法包括如下步骤：提取目标人物图像的服装区域；根据参考服装的款式，采用对抗网络模型对服装区域进行款式变换，获得服装参考区域；利用服装形变模型，根据目标人物图像中的人物的身姿对参考服装进行形变，获得形变后的参考服装；利用服装渲染模型，将形变后的参考服装渲染到目标人物图像的服装参考区域，获得渲染后的目标人物图像。本发明利用对抗网络模型对服装区域进行款式变换，使虚拟试衣不受款式的限制，利用服装形变模型对参考服装进行形变，使其适用于不同的身姿，使虚拟试衣不受身姿的限制，本发明提供一种不受衣服款式和试衣人员的身姿限制的虚拟试衣方法，提高了用户的体验。CN113052980ACN113052980A权利要求书1/3页1.一种虚拟试衣方法，其特征在于，所述试衣方法包括如下步骤：提取目标人物图像的服装区域；根据参考服装的款式，采用对抗网络模型对服装区域进行款式变换，获得服装参考区域；利用服装形变模型，根据目标人物图像中的人物的身姿对参考服装进行形变，获得形变后的参考服装；利用服装渲染模型，将形变后的参考服装渲染到目标人物图像的服装参考区域，获得渲染后的目标人物图像。2.根据权利要求1所述的虚拟试衣方法，其特征在于，所述提取目标人物图像的服装区域，具体包括：采用马尔科夫随机场选取目标人物图像的服装位置的多个像素点作为正样本和非服装处的多个像素点作为负样本；利用所述正样本和所述负样本训练分类器，获得训练后的分类器；利用训练后的分类器遍历所述目标人物图像的每个像素点，获得目标人物图像的服装区域。3.根据权利要求1所述的虚拟试衣方法，其特征在于，所述对抗网络模型包括两个生成器和两个判别器；两个所述生成器分别为第一生成器和第二生成器，两个所述判别器分别为第一判别器和第二判别器；所述第一生成器用于参照目标人物图像和服装区域图像生成参考人物生成图像和参考服装生成图像；所述第二生成器用于参照参考人物图像和参考服装图像生成目标人物生成图像和服装区域生成图像；所述第一判别器用于对目标人物图像、服装区域图像、目标人物生成图像和服装区域生成图像进行判别；所述第二判别器用于对参考人物图像、参考服装图像、参考人物生成图像和参考服装生成图像进行判别。4.根据权利要求3所述的虚拟试衣方法，其特征在于，两个所述生成器均包括6层卷积层和3层残差块；两个所述判别器均包括3层卷积层。5.根据权利要求1或3所述的虚拟试衣方法，其特征在于，所述对抗网络模型的损失函数为：Latm＝Llsgan+λcycLcyc+λidtLidt+λctxLctx；其中，Latm为对抗网络模型的整体损失，Llsgan为对抗网络模型的对抗损失，Lcyc为对抗网络模型的域转换损失、Lidt为对抗网络模型的映射损失，Lctx为对抗网络模型的内容损失；λcyc为域转换损失权重，λidt为映射损失权重，λctx为内容损失权重；22Llsgan＝(Dat1(I1,M1)‑1)+Dat1(Gat2(I2,M2))；2CN113052980A权利要求书2/3页Dat1(·)为第一判别器，I1为目标人物图像，为参照参考人物图像生成的目标人物生成图像，M1为服装区域图像，为参照参考服装图像生成的服装区域生成图像，Gat1(·)为第一生成器，Gat2(·)为第二生成器，I2为穿着有参考服装的人物的参考人物图像，为参照目标人物图像生成的参考人物生成图像，M2为参考服装图像，为参照服装区域图像生成的参考服装生成图像，为第一生成器的内容损失权重，为第二生成器的内容损失权重，⊙表示逐元素相乘。6.根据权利要求1所述的虚拟试衣方法，其特征在于，所述服装形变模型包括两个特征提取网络、特征连接网络、回归网络和TPS转换网络；两个所述特征提取网络分别用于提取参考服装图像和目标人物图像的特征，获得参考图像特征和人物图像特征；所述特征连接网络用于将所述参考图像特征和所述人物图像特征连接后，送入回归网络；所述回归网络用于根据所述参考图像特征和所述人物图像特征，预测参考服装的形变参数；所述TPS