基于级联纠错机制的人体姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107220596A(43)申请公布日2017.09.29(21)申请号201710328383.9(22)申请日2017.05.11(71)申请人西安电子科技大学地址710071陕西省西安市雁塔区太白南路2号(72)发明人高新波戴慧冰何立火路文郭兆骐窦睿翰(74)专利代理机构陕西电子工业专利中心61205代理人王品华朱红星(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书3页说明书6页附图3页(54)发明名称基于级联纠错机制的人体姿态估计方法(57)摘要本发明公开了一种基于级联纠错机制的人体姿态追踪方法，主要解决现有技术对人体姿态估计中手腕定位不准确的问题。其包括：1)利用双向树结构模型定位手腕以外的身体各关节点；2)利用光流和粒子滤波初步预测手腕的位置；3)通过光流响应判断初步检测的结果是否可靠，若不可靠，则利用双向图结构模型来定位手腕的位置；4)利用肤色模型来判断双向图结构模型的定位结果是否可靠；5)若双向树结构模型的定位结果不正确，则再利用上一帧的手腕位置估计当前帧的手腕位置。实验结果表明，本发明能更精确地定位手腕的位置，从而取得更好的人体姿态估计效果，可用于视频监控、人机交互、数字娱乐、医学成像和运动场景下对人体姿态的识别。CN107220596ACN107220596A权利要求书1/3页1.一种基于级联纠错机制的人体姿态估计方法，其特征在于：包括如下步骤：(1)利用双向树结构模型对手腕以外的身体关节点进行定位；(2)利用光流和粒子追踪相结合的方法初步预测手腕的位置；(3)根据光流响应矩阵B的列数和设定的两个列光流阈值对预测的结果进行判断：若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降缓慢，使得第200列的光流响应B(200)大于第200列的光流阈值1，则判断定位的结果是手腕，即定位成功；若光流响应矩阵B的第1列B(1)大于第1列的光流阈值1.5，且第1列到第200列的光流阈值B(1)…B(200)的值下降迅速，使得第200列的光流响应B(200)小于第200列的光流阈值1，则判断定位的结果是手肘，即定位失败，执行(4)；若光流响应矩阵B的第1列B(1)小于第1列的光流阈值1.5，则判定定位的结果是手肘，即定位失败，执行(4)；(4)利用双向树结构模型重新预测手腕的位置；(5)对(4)预测的结果进行判断：基于同一个人脸部和手部的肤色具有相似性的特性，用人脸区域的肤色直方图近似代替手腕区域的肤色直方图，即先使用脸部检测器准确定位人脸，再统计人脸区域的色度、亮度、饱和度HSV肤色直方图，即手腕区域的HSV肤色直方图，最后根据HSV肤色直方图计算手腕定位框内肤色区域面积的比例：若手腕定位框内肤色区域面积的比例高于50％，则判断双向树结构模型定位的结果准确；若手腕定位框内肤色区域面积的比例低于50％，判断双向树结构模型定位的结果错误，则把上一帧中已定位的手腕位置取作预测的手腕位置。2.根据权利要求1所述的方法，其特征在于步骤(2)所述的利用光流和粒子追踪相结合的方法初步预测手腕的位置，按如下步骤进行：2a)建立外观模型：采用光流法fastflow处理原始的视频帧，得到一系列的光流图像，并采用主成分分析PCA方法对光流图像中的特定关节点手腕进行外观建模，其表示如下：其中，i表示第i个关节点，It表示t时刻的观察图像序列，表示在It中第i个关节点的图像块，Ui表示部件i张成的子空间，dt表示图像块到子空间的距离，dw表示图像块在子空间内的距离，表示图像块由子空间生成的概率，表示图像块到子空间Ui距离为dt的概率，表示图像块在子空间Ui内距离为dw的概率，N(·)表示独立的高斯分布，μi表示均值，E表示单位矩阵，εE表示高斯噪声，表示由Ui的特征值所构成的矩阵；2CN107220596A权利要求书2/3页2b)根据外观模型，计算出每个图像块可能是手腕的概率得到一系列候选的手腕位置；2c)建立动态模型：采用布朗运动对手腕的粒子追踪过程进行动态建模，其表示如下：i其中，θi表示对应仿射参数的方差，Pt表示在It中第i个关节点的状态变量，i表示当t-1时刻手腕的状态变量为的t时刻手腕状态变量为Pt的概率；2d)在外观模型和动态模型共同引导下，判断手腕在视频中的运动轨迹，再根据得到的运动轨迹从候选的手腕位置中确定最优的手腕位置。3.根据权利要求1所述的方法，其特征在于步骤(1)中利用双向树结构模型对手腕以外的各关节点定位，按如下步骤进行：1a)提取原始视频帧的方向梯度直方图HOG特征，利用双向树结构外观模Φ