预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共11页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761801A(43)申请公布日2023.03.07(21)申请号202211470729.6G06V10/80(2023.01)(22)申请日2022.11.23G06N3/0464(2022.01)G06N3/08(2022.01)(71)申请人同济人工智能研究院(苏州)有限公司地址215100江苏省苏州市相城区高铁新城青龙港路58号天成时代商务广场29、30层(72)发明人邓若愚胡尚薇(74)专利代理机构苏州创元专利商标事务所有限公司32103专利代理师王桦(51)Int.Cl.G06V40/10(2022.01)G06V10/40(2022.01)G06V10/82(2023.01)权利要求书1页说明书5页附图4页(54)发明名称一种基于视频时序信息的三维人体姿态迁移方法(57)摘要本发明涉及一种基于视频时序信息的三维人体姿态迁移方法,包括:通过源图像、参考姿态图像,提取空间、时间序列特征,经SMPL模型渲染输出SMPL参数,将SMPL参数投影至二维平面得到图像对应图;获取二维空间的顶点并计算重心坐标,通过匹配对应图得到转换矩阵并得到变换后的图像;对图像进行掩模,得到前景、背景图像;获取对应图的掩模,将背景图像、对应图的掩模在颜色通道进行连接,生成背景,获取注意力图和颜色图,重建图像及合成姿态迁移结果。本发明具有生成图像质量高,更好地保留人物身份特征等优点。CN115761801ACN115761801A权利要求书1/1页1.一种基于视频时序信息的三维人体姿态迁移方法,其特征在于:包括:S1:通过源人物图像、参考姿态图像,提取空间特征、时间序列特征,S2:提取图像特征,经SMPL模型渲染输出SMPL参数:人体姿态、形状参数以及三维人体网格,S3:将SMPL参数投影至二维平面,得到源人物图像、参考姿态图像的对应图;将三维人体网格投影到二维图像空间,得到二维空间的顶点,S4a:根据二维空间的顶点计算每个网格面的重心坐标,通过匹配对应图,得到转换矩阵,并用转换矩阵对图像进行变换,得到变换后的图像;S4b:基于图像的对应图对图像进行掩模,得到前景图像、背景图像;对图像的对应图进行二值化得到对应图的掩模,将背景图像、对应图的掩模在颜色通道进行连接,生成背景Obg,S5:提取源信息的特征,通过对提取的特征进行卷积操作得到注意力图A和颜色图P,利用注意力图A和颜色图P重建图像Os,合成姿态迁移结果Ot。2.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S1中:对参考姿态视频逐帧分割获得参考姿态图像,先用卷积神经网络CNN对视频中的帧提取空间特征,然后用门控循环神经网络GRU学习时间序列特征。3.根据权利要求2所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S2中:对于视频中的每一个关键帧,用ResNet50提取图像特征,并将特征编码为2048维的向量,再用SMPL模型渲染输出SMPL参数。4.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S2中:SMPL参数:{K,θ,β,M},其中,K是根节点,M(θ,β)是一个可微分的函数,用于参数化顶点和三角面组成的网格。5.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S3中:通过弱透视投影将图像的三维人体网格投影到二维图像空间,得到二维空间的顶点:vs=Proj(Vs,Ks)。6.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S4a中:转换矩阵T∈RH*W*2,其中,H*W是输入图像的分辨率。7.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S4b中:利用背景生成器生成背景,背景生成器包括编码器、解码器,在编码器阶段用多层卷积进行降采样,然后在解码器阶段用转置卷积进行上采样,使图像恢复到原来的大小。8.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S5中:注意力图为使用一通道的卷积核,关注位置信息;颜色图使用三通道的卷积核,关注颜色信息。9.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S5中:最终结果的生成过程可以概括为下面的公式:Os=Ps⊙As+Obg⊙(1‑As)Ot=Pt⊙At+Obg⊙(1‑At)。10.根据权利要求1所述的基于视频时序信息的三维人体姿态迁移方法,其特征在于:在S5中:合成过程中先学习多源特征之间的全局相似性,再将学到的相似性与多源特征在特征空间中进行线性组合,通过空间自适应归一化算法,将融合后的特征传送到全局特征中。2CN115761801A说明书1/5页一种基于视频时序信息的三维人体姿