一种基于显著轨迹空间信息的视频人体行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106709419A(43)申请公布日2017.05.24(21)申请号201611016302.3(22)申请日2016.11.18(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人衣杨胡攀邓小康张念旭谢韬郑镇贤(74)专利代理机构广州粤高专利商标代理有限公司44102代理人林丽明(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于显著轨迹空间信息的视频人体行为识别方法(57)摘要本发明提供一种基于显著轨迹空间信息的视频人体行为识别方法，该方法重新定义了视频中轨迹的显著性，有效地剔除视频中背景和人体非运动部位的轨迹，留下了前景中运动显著性高的轨迹，这些轨迹误差更小，表达能力也更强；另外该方法将不同人体部位的运动部件以及交互物体区分开来，并通过多核学习来利用他们之间的空间和语义关系，提高了算法的识别效果。CN106709419ACN106709419A权利要求书1/2页1.一种基于显著轨迹空间信息的视频人体行为识别方法，其特性在于，包括以下步骤：S1：提取视频帧，构建图像金字塔，然后对视频进行超像素分割，在图像金字塔上计算光流，然后利用帧的颜色，空间分布，以及光流的对比性来计算动态和静态显著性，将他们融合为总的显著性；S2：将轨迹显著性定义为轨迹每点在组合显著性图像中显著性的均值；然后计算自适应阈值，当轨迹显著性小于阈值时，则认为是背景轨迹或者非运动区域的轨迹而予以删除，从而有效提取显著轨迹；S3：首先对视频的所有显著轨迹进行随机采样，然后对采样得到轨迹利用其空间信息进行AP聚类，得到不定数量的聚类中心，接着用k-means将聚类中心调整为固定的数目C，最后将视频所有的轨迹分类到距离最近的聚类中心去，从而得到了视频的轨迹分类；S4：对一个视频C个类的轨迹进行编码，得到了C个向量，该向量就是视频的表示。2.根据权利要求1所述的基于显著轨迹空间信息的视频人体行为识别方法，其特性在于，所述步骤S1的过程如下：S11：对视频帧进行金字塔构建和超像素分割，对于图像金字塔的某一层而言，得到K个超像素；S12：计算超像素基于颜色对比的显著性：其中，K是超像素的数量，ci和cj表示两个超像素的颜色值，pi和pj是超像素中心位置的(p)坐标，wij是对颜色对比值进行校正的系数，σp用来控制颜色对比显著性的范围，设置为0.25；S13：计算超像素基于空间分布对比的显著性：(c)其中，wij是对空间位置对比值的校正系数，σc用来控制空间对比显著性的范围，本发明取20，是颜色ci的平均权重位置；S14：基于颜色对比和基于空间分布对比的显著性融合得到超像素的静态显著性：其中和是基于颜色对比显著性Ui和基于空间分布对比显著性Di归一化到了[0,1]后的值；S15：静态显著性能够有效地剔除视频中帧的背景区域，本发明利用插值得到静态的显著性：2CN106709419A权利要求书2/2页其中wij是高斯权重，xfi表示帧f上的第i个像素，di和dj是像素i和j的颜色值，qi和qj是像素i和j的位置，β和α均设置为30；S16：在未做超像素分割的金字塔图像上计算光流，然后利用某一像素点所在帧的平均光流值与该点光流值得对比，即卡方距离，得到动态显著性：2Cd(xfi)＝χ(h(xfi),h(A(xfi)))，其中，h(xfi)是像素点xfi处光流直方图的所有bin组成的向量，h(A(xfi))是全部h(xfi)的bin的平均值组成的向量；S17：结合动静态显著性，得到某一个像素点的显著性：其中,和是经过归一化后像素的显著性，a和b用来控制两种显著性的权重，均设置为1；3.根据权利要求2所述的基于显著轨迹空间信息的视频人体行为识别方法，其特性在于，所述步骤S2的过程如下：S21：计算每一条轨迹的显著性：其中，L是轨迹的长度为15，是像素所在帧上归一化后的显著性；S22：对具有较低显著性的轨迹进行过滤：其中μ是过滤参数设置为1.4，E(.)表示图像f的显著性的平均值。4.根据权利要求3所述的基于显著轨迹空间信息的视频人体行为识别方法，其特性在于，所述步骤S3的过程如下：S31：首先对一个视频的所有轨迹进行随机采样；S32：利用空间信息来表示轨迹，然后通过余弦相似度来计算采样得到的轨迹的相似性矩阵；S33：将相似性矩阵作为第一层AP聚类的输入；S34：在第二层用k-means来对第一层聚类的结果进行调整，得到固定数目的聚类中心；S35：对于一个视频所有的轨迹，将他们量化到最近的聚类中心去，从而将视频的轨迹依照轨迹之间的空间关系划分为