人体行为识别方法、系统、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113869189A(43)申请公布日2021.12.31(21)申请号202111126363.6G06N3/08(2006.01)(22)申请日2021.09.24(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号申请人武汉烽火技术服务有限公司(72)发明人袁凌潘帅宁李国徽胡记伟罗力玮(74)专利代理机构华中科技大学专利中心42201代理人胡秋萍(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书8页附图2页(54)发明名称人体行为识别方法、系统、设备及介质(57)摘要本发明公开了一种人体行为识别方法、系统、设备及介质，属于数据检索领域，方法包括：捕获目标区域内人体的RGB视频序列、加速度信号和角速度信号，提取RGB视频序列、加速度信号和角速度信号中与人体行为识别相关的视频特征、加速度特征和角速度特征；对加速度特征形成的循环矩阵和角速度特征形成的循环矩阵进行多传感器信号融合处理，得到惯性传感器融合特征向量；对惯性传感器融合特征向量与视频特征进行基于塔克分解的双模态融合，得到融合行为特征；将融合行为特征输入分类器进行人体行为识别，以预测并输出人体动作。多角度、多视角分析人体行为识别任务，解决单一模态信息缺失的问题。CN113869189ACN113869189A权利要求书1/3页1.一种基于多模态异构信息融合的人体行为识别方法，其特征在于，包括：S1，捕获目标区域内人体的RGB视频序列、加速度信号和角速度信号，提取所述RGB视频序列、加速度信号和角速度信号中与人体行为识别相关的视频特征、加速度特征和角速度特征；S2，对所述加速度特征形成的循环矩阵和所述角速度特征形成的循环矩阵进行多传感器信号融合处理，得到惯性传感器融合特征向量；S3，对所述惯性传感器融合特征向量与所述视频特征进行基于塔克分解的双模态融合，得到融合行为特征；S4，将所述融合行为特征输入分类器进行人体行为识别，以预测并输出人体动作。2.如权利要求1所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S1中特征提取之前还包括：删除预设起始时间段内捕获的RGB视频序列、加速度信号和角速度信号，并对删除后的数据进行最小‑最大归一化处理；对最小‑最大归一化处理后动作长度小于目标尺寸的数据进行零填充。3.如权利要求1或2所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S1中特征提取包括：利用深度三维卷积神经网络对所述RGB视频序列进行特征提取，得到所述视频特征；利用包含卷积神经网络和长短期记忆网络的ConvLSTM模型对所述加速度信号和角速度信号进行特征提取，得到所述加速度特征和角速度特征。4.如权利要求1所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S2包括：将所述加速度特征逐次逐数据平移以生成多个加速度向量，将所述多个加速度向量组合形成加速度循环特征矩阵；将所述角速度特征形成的角速度特征向量与所述加速度循环特征矩阵相乘后进行归一化处理，得到交互特征向量；将所述加速度特征形成的加速度特征向量、所述角速度特征向量和所述交互特征向量进行级联融合，得到所述惯性传感器融合特征向量。5.如权利要求4所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述加速度循环特征矩阵为：所述交互特征向量为：2CN113869189A权利要求书2/3页所述惯性传感器融合特征向量为：其中，A为所述加速度循环特征矩阵，AT为A的转置，a为所述加速度特征向量，g为所述角速度特征向量，ai为a中第i个元素，gi为g中第i个元素，i＝1,2,3…,N，N为a和g的维数，f为所述交互特征向量，s为所述惯性传感器融合特征向量。6.如权利要求1所述的基于多模态异构信息融合的人体行为识别方法，其特征在于，所述S3包括：对特征权重张量τ进行塔克分解，所述塔克分解为：τ＝((τc×1Ws)×2Wv)×3W0对所述惯性传感器融合特征向量、所述视频特征形成的视频特征向量各自加一维1后降维，得到相应的低维稠密向量；对所述低维稠密向量进行双模态融合，并向塔克分解得到的核心张量τc中引入结构化稀疏约束，得到所述融合行为特征：Ty＝zW0其中，×1为在第一维相乘，×2为在第二维相乘，×3为在第三维相乘；Ws为所述惯性传感器融合特征向量的低维映射权重矩阵，Wv为所述视频特征向量的低维映射权重矩阵，W0为融合行为特征向量的映射权重矩阵，用于控制特征向量的维度；y为所述融合行为特征，z为中间向量，s′为所述惯性传感器融合特征向量相应的低维稠密向量，v′为所述视频特征向量TTT相应的低维稠