一种基于中层特征的行为识别方法与系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107194365A(43)申请公布日2017.09.22(21)申请号201710416188.1G06K9/62(2006.01)(22)申请日2017.06.06(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人桑农张士伟高常鑫李乐仁瀚邵远杰王金况小琴何翼皮智雄宾言锐都文鹏舒娟吴建雄(74)专利代理机构华中科技大学专利中心42201代理人李智曹葆青(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)权利要求书3页说明书6页附图1页(54)发明名称一种基于中层特征的行为识别方法与系统(57)摘要本发明公开了一种基于中层特征的行为识别方法与系统，其中方法的实现包括：从样本图像序列中得到候选部件检测器集；移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别。本发明识别能力强、识别准确率高、实用性强、保留了部件之间的关联性。CN107194365ACN107194365A权利要求书1/3页1.一种基于中层特征的行为识别方法，其特征在于，包括：(1)从样本图像序列中，提取A类行为类别的时空部件集D和行为类别除A类外的其他行为类别的时空部件集N，利用时空部件集D和时空部件集N训练部件检测器，得到候选部件检测器集；(2)将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量；(3)利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；(4)根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；(5)获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；(6)将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别。2.如权利要求1所述的一种基于中层特征的行为识别方法，其特征在于，所述训练部件检测器的具体实施方式为：正样本是时空部件集D中的时空部件，负样本是时空部件集N中的时空部件，针对时空部件集D中的每一个时空部件，利用一个正样本和多个负样本训练部件检测器。3.如权利要求1所述的一种基于中层特征的行为识别方法，其特征在于，所述候选特征向量fc为：其中，di为第i个部件检测器，为第1个部件检测器d1在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，为第2个部件检测器d2在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，为第m个部件检测器dm在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，1≤i≤m，m表示候选部件检测器集Dc中部件检测器的个数。4.如权利要求3所述的一种基于中层特征的行为识别方法，其特征在于，所述选择器的权重向量为：其中，Φc(fc)表示选择器，w为选择器的权重向量，b为选择器的偏置，损失函数C是惩罚因子，yn表示样本图像序列中第n个图像的类别标签，xn表示样本图像序列中第n个图像的中层特征，N表示样本图像序列中图像的总个数。5.如权利要求4所述的一种基于中层特征的行为识别方法，其特征在于，所述步骤(3)的具体实现方式为：利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，采用2CN107194365A权利要求书2/3页递归移除，候选中层特征矩阵当k＝1时，初始化F0＝Fc，当k＞1时，第k次递归可以如下表示：k其中，S＝[s1，s2…sm]，si∈{0，1}，表示部件选择标志位，如果si＝1，则第i个部件检测器被选择，如果si＝0，则第i个部件检测器未被选择，y表示样本图像序列的类别标签向量，wk表示第k次递归后的权重向量，Fk-1表示第k-1次递归后的候选中层特征矩阵，Fk表示第k次递归后的候选中层特征矩阵，表示第k次递归后根据权重向量wk和移除率为τ＝B％进行移除，总共进行H次递归得到的新的候选部件检测器集。6.一种基于中层特征的行为识别系统，其特征在于，包括：获取候选部件检测器集模块，用于从样本图像序列中，提取A