一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822175A(43)申请公布日2021.12.21(21)申请号202111033391.3(22)申请日2021.09.03(71)申请人西安工程大学地址710048陕西省西安市碑林区金花南路19号(72)发明人张利剑李敏奇李犇任劼张扬(74)专利代理机构西安弘理专利事务所61214代理人王丹(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N7/00(2006.01)G06Q30/06(2012.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法(57)摘要本发明公开了一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，包括：对人体姿态进行建模得到人体姿态热图，同时计算人体分割图，得到去除人体头部信息的二元掩码；将姿态热图、二元掩码和目标衣服作为图形匹配网络的输入，输出粗合成试穿图像、扭曲后衣服的二值掩码；以扭曲后衣服二值掩码为目标，利用关键点聚类匹配算法，对目标衣服进行扭曲处理；将扭曲后的目标衣服与粗合成试穿图像作为细化网络的输入，输出合成真实图像。能使目标衣服与扭曲后衣服保持一致性，简化匹配过程，进而提高了服装配准扭曲的精确度，保证虚拟试穿的整体效果。CN113822175ACN113822175A权利要求书1/2页1.一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，包括以下步骤：步骤1、对人体姿态进行建模得到人体姿态热图，同时计算人体分割图，得到去除人体头部信息的二元掩码；步骤2、将所述姿态热图、二元掩码和目标衣服作为图形匹配网络的输入，并利用损失函数对图形匹配网络进行参数调整，输出粗合成试穿图像、扭曲后衣服的二值掩码；步骤3、以扭曲后衣服二值掩码为目标，利用关键点聚类匹配算法，对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的目标衣服；步骤4、将扭曲后的目标衣服与粗合成试穿图像作为细化网络的输入，并利用损失函数对细化网络进行参数调整，输出合成真实图像。2.根据权利要求1所述的一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，步骤2中损失函数包括：利用L1损失计算扭曲后衣服的二值掩码与真实扭曲衣服掩码之间的损失值、利用感知损失计算粗合成试穿图像与真实试穿图像之间的损失值。3.根据权利要求1所述的一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，步骤4中损失函数为利用感知损失计算合成结果与数据集中真实的试穿图像之间的损失值。4.根据权利要求1所述的一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，步骤3具体包括以下步骤：步骤3.1、提取所述扭曲后衣服的边缘特征，根据边缘特征得到扭曲后衣服的曲率，将曲率变化较大的特征点标记为扭曲后衣服的特征关键点；步骤3.2、提取所述目标衣服的边缘特征，查找扭曲后衣服的特征关键点对应的目标衣服的特征关键点；步骤3.3、分别采集所述扭曲后衣服、目标衣服的特征点，通过距离关系判定特征点与对应特征关键点之间的对应关系，建立特征点集群；d×m步骤3.4、假设目标衣服的特征点集X＝{xi，1≤i≤m}∈R，扭曲后衣服的特征点集Yd×n＝{yi，1≤j≤n}∈R，其中m，n是样板点数，d是维数，通过X和Y估计出两者的匹配矩阵P，利用匹配矩阵P得到将样本点X扭曲到目标点Y的变换函数f，利用变换函数f对目标衣服进行扭曲处理，得到与扭曲后衣服二值掩码形同的目标衣服。5.根据权利要求4所述的一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法，其特征在于，步骤3.4中匹配矩阵P和变换函数f的计算方法为：分别提取X、Y的特征关键点记为其中mk，nk是特征关键点数，将下式作为目标函数求出匹配矩阵P和变换函数f：上式中，Pec表示特征关键点对应的概率，λ为正则系数；2假设ye服从以对应点为中心，σ为方差的高斯分布，或者作为离群点服从以a为参数的均匀分布，则Xk、Yk的配准高斯混合生成模型表示为：2CN113822175A权利要求书2/2页2其中，πc表示ye属于第c个高斯分布的权重，γ表示ye属于离群点的百分比，θ＝{σ，γ，f}表示其它待求参数集合，此时匹配概率矩阵Pec可表示为：利用贝叶斯定理，通过公式(5)估计满足公式(2)最大的参数集θ：采用EM算法对目标函数进行优化，在E步，利用公式(3)求解匹配矩阵Pec，在M步，利用公式(5)更新参数θ，最后通过公式(1)交替迭代得到匹配矩阵P和形变函数f。3CN113822175A说明书1/6页一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法技术领域[0001]本发明属于图像匹配方法技术领域，涉及一种基