基于多视点视频的复杂动态人体对象三维重建方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107945269A(43)申请公布日2018.04.20(21)申请号201711433635.0(22)申请日2017.12.26(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人刘烨斌王金宝戴琼海吕科(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张润(51)Int.Cl.G06T17/00(2006.01)G06T7/80(2017.01)G06T7/10(2017.01)权利要求书2页说明书7页附图4页(54)发明名称基于多视点视频的复杂动态人体对象三维重建方法及系统(57)摘要本发明公开了一种基于多视点视频的复杂动态人体对象三维重建方法及系统，其中，方法包括以下步骤：对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模。该方法可以结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。CN107945269ACN107945269A权利要求书1/2页1.一种基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，包括以下步骤：对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。2.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像，包括：将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。3.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息，包括：利用深度卷积神经网络DPM对人体的各部分关节点进行预测；利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。4.根据权利要求3所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，Lstructure＝LJoint·LParsing，其中，LStructure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，LParsing是softmaxloss，LJoint是关节点预测值与真实值之间的损失。5.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模，包括：对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息；利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象；如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。6.一种基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，包括：拍摄模块，用于对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；信息获取模块，用于利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；三维重建模块，用于利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。2CN107945269A权利要求书2/2页7.根据权利要求6所述的基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，所述拍摄模块还用于将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。8.根据权利要求6所述的基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，所