基于多特征融合的人体交互行为识别方法、系统及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110619261A(43)申请公布日2019.12.27(21)申请号201910163955.1(22)申请日2019.03.05(71)申请人北方工业大学地址100144北京市石景山区区晋元庄5号(72)发明人叶青杨航张永梅(74)专利代理机构北京科龙寰宇知识产权代理有限责任公司11139代理人孙皓晨(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书11页附图2页(54)发明名称基于多特征融合的人体交互行为识别方法、系统及装置(57)摘要本发明提供了一种基于多特征融合的人体交互行为识别方法、系统及装置，该方法包括：对交互视频中的多个独立个体，分别提取局部时空特征与全局光流特征；将所述局部时空特征与所述全局光流特征进行特征融合，获得局部时空特征与所述全局光流特征之间的相关性，进而得到每个独立个体的单人特征信息；通过并行长短期记忆网络，获得混合特征信息；基于混合特征信息，进行分类，获得交互行为识别结果。本发明的技术方案充分保留了交互中的行为信息和交互信息，大大提高了交互行为识别的准确率。CN110619261ACN110619261A权利要求书1/2页1.基于多特征融合的人体交互行为识别方法，其特征在于，所述方法包括：S1、对交互视频中的多个独立个体，分别提取局部时空特征与全局光流特征；S2、将所述局部时空特征与所述全局光流特征进行特征融合，获得所述局部时空特征与所述全局光流特征之间的相关性，进而得到每个独立个体的单人特征信息；S3、将S2所得每个独立个体的单人特征信息通过并发长短期记忆网络，所述并发长短期记忆网络以并行的方式进一步获取提取后单人特征信息，基于所述提取后单人特征信息、所述S2中的单人特征信息，获得混合特征信息；S4、基于所述混合特征信息进行分类，获得交互行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述S1中，全局光流特征与局部时空特征通过如下方式获得：全局光流特征：利用两帧差分，对光流进行计算，基于该计算结果，通过光流直方图以及光流的方向加权统计结果，得到光流方向信息直方图，构成全局光流特征；局部时空特征：将视频序列线性表示为尺度空间，并建立时空角点矩阵，基于所述时空角点矩阵筛选时空兴趣点；对所述时空兴趣点周围所包含的时空信息进行描述，进而得到时空特征；梯度方向直方图以时空特征点为中心，构建时空立方体，获得其梯度直方图，描述局部时空信息，获得局部时空特征。3.根据权利要求1所述的方法，其特征在于，所述S2中，所述进行特征融合中，建立优化目标式如下：T其中Cxy＝XY是特征集合X，Y的互相关矩阵，而是X，Y的映射矩阵，1是映射的维度，X∈Rp×N和Y∈Rq×N分别是局部时空特征与全局光流特征。4.根据权利要求1所述的方法，其特征在于，所述S3中，所述并发长短期记忆网络的处理进一步包括：S301、并行处理单人特征信息，将单人特征信息读入后，从细胞状态中决定丢弃的信息；S302、确定需要被存放到细胞状态里的新信息，形成提取后单人特征信息；S303、将所述提取后单人特征信息，结合S2中的单人特征信息，进行特征融合，得到混合特征信息。5.根据权利要求1所述的方法，其特征在于，所述S4中，识别激励函数如下：zi＝Wixi+bi其中，wi为某一个节点的第i个输入xi的权重，b为该节点的偏置，m是该节点的所有输入总数，σi(z)是该节点的输出。6.基于多特征融合的人体交互行为识别系统，其特征在于，所述系统包括：2CN110619261A权利要求书2/2页单人特征提取模块，对交互视频中的多个独立个体，分别提取局部时空特征与全局光流特征；特征融合模块，用于将所述局部时空特征与所述全局光流特征进行特征融合，获得所述局部时空特征与所述全局光流特征之间的相关性，进而得到每个独立个体的单人特征信息；交互信息提取模块，用于将所述特征融合模块所得每个独立个体的单人特征信息通过并发长短期记忆网络，所述并发长短期记忆网络以并行的方式进一步获取提取后单人特征信息，基于所述提取后单人特征信息、所述特征融合模块获得的单人特征信息，获得混合特征信息；分类识别模块，用于基于所述混合特征信息进行分类，获得交互行为识别结果。7.根据权利要求6所述的系统，其特征在于，所述单人特征提取模块进一步包括：全局光流特征提取单元：利用两帧差分，对光流进行计算，基于该计算结果，通过光流直方图以及光流的方向加权统计结果，得到光流方向信息直方图，构成全局光流特征；局部时空特征提取单元：将视频序列线性表示为尺度空间，并建立时空角点矩阵，基于所述时空角点矩阵筛选时空兴趣点；对所述时空兴趣点周围所包含的时空信息进行描述，进而得到时空特