基于多Kinect的人体骨架追踪系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108564653A(43)申请公布日2018.09.21(21)申请号201810220754.6(22)申请日2018.03.16(71)申请人中国传媒大学地址100024北京市朝阳区定福庄东街1号(72)发明人叶龙刘大伟帖云方力张勤(74)专利代理机构北京鸿元知识产权代理有限公司11327代理人张超艳李琳(51)Int.Cl.G06T17/00(2006.01)G06T7/30(2017.01)权利要求书2页说明书7页附图2页(54)发明名称基于多Kinect的人体骨架追踪系统及方法(57)摘要本发明提供一种基于多Kinect的人体骨架追踪系统及方法，包括：第一终端包括多个Kinect，采集人体图像变成点云数据；数据传输模块；第二终端包括：数据接收模块，接收点云数据；数据转换模块，统一多个Kinect的相机坐标系、拍摄的标记点坐标系统，得到每两个Kinect的初始变换关系；数据融合模块，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；骨架提取模块，根据数据融合模块融合的点云数据进行人体重建。上述系统及方法减弱点云数据配准错位现象。CN108564653ACN108564653A权利要求书1/2页1.一种基于多Kinect的人体骨架追踪系统，其特征在于，包括：第一终端，包括多个Kinect和数据传输模块，每一个Kinect采集人体图像，将其变换成点云数据通过数据传输模块传输给第二终端；第二终端，从点云数据中提取人体骨架关节点信息，其中，包括：数据接收模块，接收第一终端设备传来的多个Kinect采集的点云数据；数据转换模块，将多个Kinect的相机坐标系、拍摄的标记点坐标系统一到一个坐标系，得到每两个Kinect的初始变换关系，传输给数据融合模块，所述初始变换关系包括使得两个Kinect的相机坐标系和标记点坐标系统一的初始旋转矩阵和初始平移矩阵；数据融合模块，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，所述最佳配对应的初始变换关系作为最佳变换关系，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；骨架提取模块，根据数据融合模块融合的点云数据进行人体重建。2.根据权利要求1所述的人体骨架追踪系统，其特征在于，所述数据融合模块包括：初始配对单元，将每两个Kinect进行初始配对，得到一个Kinect的多种配对方式；点匹配单元，对每一种配对方式的两个Kinect点云数据中的每一个匹配点按照距离最短进行匹配；配对更新单元，计算每一个Kinect的每一种配对方式的多个匹配点的平均距离，将最小平均距离对应的匹配方式作为每一个Kinect的第二配对，第二配对的两个Kinect之间的初始变换关系作为第二变换关系；均方根误差获得单元，通过配对更新单元更新后的每一个Kinect的第二配对对应的第二变换关系根据下式(1)得到每一个Kinect的第二配对的最小均方根误差，其中，xi为一个Kinect的点云数据X中的第i个匹配点，yi为所述一个Kinect的第二配对的另一个Kinect的点云数据Y中的第i个匹配点，m为两个Kinect的点云数据中较少的匹配点个数，R为第二配对的两个Kinect的第二旋转矩阵，t为第二配对的两个Kinect的第二平移矩阵，e(X,Y)为第二配对的两个Kinect的最小均方根误差；判断单元，判断所述最小均方根误差是否在设定的误差范围内，如果所述最小均方跟误差在所述范围内，将第二配对对应的第二旋转矩阵和第二平移矩阵作为第二配对的两个Kinect的最佳变换关系，如果所述最小均方跟误差在误差范围内，将第二变换关系传输给初始配对单元，在初始配对单元至判断单元之间迭代循环，直到得到最佳变换关系；融合单元，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合。3.根据权利要求2所述的人体骨架追踪系统，其特征在于，所述第一终端还包括：提取模块，从每一个Kinect的采集的人体点云数据中提取深度数据。4.根据权利要求1所述的人体骨架追踪系统，其特征在于，所述第二终端还包括：数据预处理模块，采用聚类算法查找每一个点云数据的每一个匹配点最近的设定个数的邻近匹配点，滤除与所述匹配点的距离大于设定阈值的邻近匹配点。5.根据权利要求1所述的人体骨架追踪系统，其特征在于，所述第一终端还包括：标定模块，将每一个Kinect的相机坐标系变换到其拍摄的标记点坐标系。2CN108564653A权利要求书2/2页6.一种