虚拟试鞋方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111507806A(43)申请公布日2020.08.07(21)申请号202010327168.9(22)申请日2020.04.23(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人宫延河赵晨(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06Q30/06(2012.01)G06T19/00(2011.01)权利要求书2页说明书8页附图4页(54)发明名称虚拟试鞋方法、装置、设备以及存储介质(57)摘要本申请实施例公开了虚拟试鞋方法、装置、设备以及存储介质，涉及图像处理技术领域。该方法的一具体实施方式包括：获取摄像头扫描到的用户脚部图像；确定用户脚部图像上的脚部关键点；基于脚部关键点和预设鞋模型，生成变换矩阵；利用变换矩阵对预设鞋模型进行变换，将预设鞋模型渲染到用户脚部图像上，生成虚拟试鞋图像。该实施方式通过变换矩阵将预设鞋模型渲染到用户脚部图像，能够预览到预设鞋穿在用户脚部的真实状态，提升了用户试鞋体验。CN111507806ACN111507806A权利要求书1/2页1.一种虚拟试鞋方法，包括：获取摄像头扫描到的用户脚部图像；确定所述用户脚部图像上的脚部关键点；基于所述脚部关键点和预设鞋模型，生成变换矩阵；利用所述变换矩阵对所述预设鞋模型进行变换，将所述预设鞋模型渲染到所述用户脚部图像上，生成虚拟试鞋图像。2.根据权利要求1所述的方法，其中，所述基于所述脚部关键点和预设鞋模型，生成变换矩阵，包括：在所述预设鞋模型上确定出与所述脚部关键点对应的点；生成从所述预设鞋模型上的对应点映射到所述脚部关键点的变换矩阵。3.根据权利要求1所述的方法，其中，所述确定所述脚部图像上的脚部关键点，包括：利用关键点检测模型对所述用户脚部图像进行检测，得到所述用户脚部图像上的脚部关键点。4.根据权利要求3所述的方法，其中，所述利用关键点检测模型对所述用户脚部图像进行检测，得到所述用户脚部图像上的脚部关键点，包括：从所述用户脚部图像中分割出用户脚部区域；将所述用户脚部区域输入至所述关键点检测模型，得到所述脚部关键点。5.根据权利要求4所述的方法，其中，所述从所述用户脚部图像中分割出用户脚部区域，包括：将所述用户脚部图像输入至脚部检测模型，输出用户脚部位置和置信度；从所述用户脚部图像中分割出置信度大于第一预设阈值的用户脚部位置对应的区域，得到所述用户脚部区域。6.根据权利要求4所述的方法，其中，所述将所述用户脚部区域输入至所述关键点检测模型，得到所述脚部关键点，包括：将所述用户脚部区域输入至所述关键点检测模型，输出脚部关键点热力图，其中，所述脚部关键点热力图表征所述用户脚部区域中的各个点是脚部关键点的置信度；从所述脚部关键点热力图中选取置信度大于第二预设阈值的点，作为所述脚部关键点。7.一种虚拟试鞋装置，包括：图像获取模块，被配置成获取摄像头扫描到的用户脚部图像；关键点确定模块，被配置成确定所述用户脚部图像上的脚部关键点；矩阵生成模块，被配置成基于所述脚部关键点和预设鞋模型，生成变换矩阵；图像生成模块，被配置成利用所述变换矩阵对所述预设鞋模型进行变换，将所述预设鞋模型渲染到所述用户脚部图像上，生成虚拟试鞋图像。8.根据权利要求7所述的装置，其中，所述矩阵生成模块进一步被配置成：在所述预设鞋模型上确定出与所述脚部关键点对应的点；生成从所述预设鞋模型上的对应点映射到所述脚部关键点的变换矩阵。9.根据权利要求7所述的装置，其中，所述关键点确定模块包括：关键点检测子模块，被配置成利用关键点检测模型对所述用户脚部图像进行检测，得2CN111507806A权利要求书2/2页到所述用户脚部图像上的脚部关键点。10.根据权利要求9所述的装置，其中，所述关键点检测子模块包括：图像分割单元，被配置成从所述用户脚部图像中分割出用户脚部区域；关键点检测单元，被配置成将所述用户脚部区域输入至所述关键点检测模型，得到所述脚部关键点。11.根据权利要求10所述的装置，其中，所述图像分割单元进一步被配置成：将所述用户脚部图像输入至脚部检测模型，输出用户脚部位置和置信度；从所述用户脚部图像中分割出置信度大于第一预设阈值的用户脚部位置对应的区域，得到所述用户脚部区域。12.根据权利要求10所述的装置，其中，所述关键点检测单元进一步被配置成：将所述用户脚部区域输入至所述关键点检测模型，输出脚部关键点热力图，其中，所述脚部关键点热力图表征所述用户脚部区域中的各个点是脚部关键点的置信度；从所述脚部关键点热力图中选取置信度大于第二预设阈值的点，作为所述脚部关键点。13.一种电子设备，包括：至少一个处理