一种基于三维人体参数化模型的姿态迁移方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113223124A(43)申请公布日2021.08.06(21)申请号202110354636.6G06N3/08(2006.01)(22)申请日2021.03.30(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人李桂清蒋金峰伍世浩张惠嵌聂勇伟(74)专利代理机构广州市华学知识产权代理有限公司44245代理人冯炳辉(51)Int.Cl.G06T13/40(2011.01)G06T17/00(2006.01)G06T19/20(2011.01)G06N3/04(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于三维人体参数化模型的姿态迁移方法(57)摘要本发明公开了一种基于三维人体参数化模型的姿态迁移方法，包括：1)得到与源人物姿态和表情一致的目标人物三维人体参数化模型；2)将目标人物三维人体参数化模型不同的部位绑定不同的颜色进行渲染，得到姿态图像；3)对姿态图像进行图像操作后，得到头部以及身体姿态图；4)将头部以及身体姿态图像输入至人体部位生成模块，得到头部以及身体姿态迁移图像；5)对头部以及身体姿态迁移图像进行图像操作后，得到头部以及身体姿态迁移中间图像；6)将头部以及身体姿态迁移中间图像输入至融合模块，得到目标人物姿态迁移后的结果图像。本发明在保证结果质量的同时，减少了训练数据需求量，降低了训练数据的采集难度，加快了训练的时间。CN113223124ACN113223124A权利要求书1/2页1.一种基于三维人体参数化模型的姿态迁移方法，其特征在于，包括以下步骤：1)从目标人物图像中拟合出三维人体参数化模型的体型参数，从源人物图像中拟合出三维人体参数化模型的姿态参数，结合体型参数和姿态参数，还原出与源人物姿态一致的目标人物三维人体参数化模型；2)将目标人物三维人体参数化模型按照不同人体部位赋予不同的颜色后，进行渲染，得到姿态图像；3)将姿态图像进行分割后，得到头部姿态中间图像和身体姿态中间图像；对头部姿态中间图像进行裁切、缩放操作后，得到头部姿态图像；对身体姿态中间图像进行裁切、缩放以及拼接操作后得到身体姿态图像；4)将头部姿态图像和身体姿态图像输入至人体部位生成模块，得到头部姿态迁移图像和身体姿态迁移图像；5)将头部姿态迁移图像进行补边框操作，得到头部姿态迁移中间图像；将身体姿态迁移图像进行裁切、补边框操作，得到身体姿态迁移中间图像；6)将头部姿态迁移中间图像和身体姿态迁移中间图像输入至融合模块，得到目标人物姿态迁移后的结果图像。2.根据权利要求1所述的一种基于三维人体参数化模型的姿态迁移方法，其特征在于：在步骤1)中，三维人体参数化模型是SMPL‑X，SMPL‑X使用体型参数来控制三维人体参数化模型的体型，使用姿态参数来控制三维人体参数化模型的姿态；将源人物姿态迁移到目标人物身上，是将目标人物的体型和源人物的姿态结合在一起；使用SMPLify‑X从目标人物图像中拟合出三维人体参数化模型的体型参数，从源人物图像中拟合出三维人体参数化模型的姿态参数；通过结合体型参数和姿态参数，还原出与源人物姿态一致的目标人物三维人体参数化模型。3.根据权利要求1所述的一种基于三维人体参数化模型的姿态迁移方法，其特征在于：在步骤2)中，将目标人物三维人体参数化模型的身体分为15个部位，包含颈、左手、右手、左小臂、右小臂、左肘、右肘、上身、臀部、左大腿、右大腿、左小腿、右小腿、左脚和右脚，将目标人物三维人体参数化模型的头部分为6个部位，包含左眼、右眼、左眉、右眉、鼻子和嘴巴；对每个身体部位以及头部部位赋予不同颜色，将按部位赋予了不同颜色的三维人体参数化模型进行渲染，得到姿态图像。4.根据权利要求1所述的一种基于三维人体参数化模型的姿态迁移方法，其特征在于：在步骤3)中，以头部关节点为中心使用长宽为270×270的框对头部姿态中间图像进行裁切后缩放至256×256分辨率，得到头部姿态图像；在身体姿态中间图像中，对于每一个身体部位，裁切的中心点为三维参数化人体模型中该部位首尾两个关节点的中间点；对于上身，使用长宽为480×480的框裁切上身后并缩放至128×128分辨率得到上身姿态图像；其余14个身体部位，每个部位都以长宽为270×270的框进行裁切并缩放至128×128分辨率，得到其余14个身体部位的姿态图像；最后，把身体15个部位的姿态图像拼接成640×384分辨率的图像，得到身体姿态图像。5.根据权利要求1所述的一种基于三维人体参数化模型的姿态迁移方法，其特征在于：在步骤4)中，所述人体部位生成模块包含头部编码器、头部残差块、头部解码器、身体编码器、身体残差块以及身体解码器；头部姿态图像经过头部编码器