一种基于融合注意力机制的人体行为识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114821765A(43)申请公布日2022.07.29(21)申请号202210146611.1G06K9/62(2022.01)(22)申请日2022.02.17G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人上海师范大学地址200234上海市徐汇区桂林路100号(72)发明人潘建国胡正欣尹思思李美子彭伟民(74)专利代理机构上海科盛知识产权代理有限公司31225专利代理师翁惠瑜(51)Int.Cl.G06V40/20(2022.01)G06V10/77(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于融合注意力机制的人体行为识别方法(57)摘要本发明涉及一种基于融合注意力机制的人体行为识别方法，利用卷积网络模块学习多源异构传感器信号内部的空间特征，融合各传感器特征向量，通过传感器通道注意力模块学习传感器数据间相关性，卷积网络模块的输出输入到循环神经网络模块中学得时序间关系，采用自注意力机制捕获输入序列中关键部分，决定每部分的输入权重，使用注意力门过滤噪声部分，保留注意力分数较高的部分，最终形成整个时间序列的特征向量，得到行为分类结果，通过引入注意力机制以分离不同人类行为下的传感器内关系、传感器间关系以及行为时序关系，提高了对于人类行动分类准确率；与现有技术相比，本发明具有准确率高、可解释强、拓展性好等优点。CN114821765ACN114821765A权利要求书1/1页1.一种基于融合注意力机制的人体行为识别方法，其特征在于，包括：采集穿戴式设备上的多源异构传感器获取的人体姿态数据，构成数据集，并进行预处理；将数据集输入训练好的深度行为识别模型，获得人体行为分类结果；其中，所述的深度行为识别模型包括：传感器通道注意力模块，用于提取多个传感器通道间的作用关系特征；卷积网络模块，用于根据传感器通道间的作用关系特征，获取同一时刻下每个传感器特征通道的模态特征；循环神经网络模块，用于根据模态特征的时间序列提取时间特征；时序注意力模块，用于根据时间特征获取同一时间片内不同时刻的注意力权重，并根据注意力权重对时间特征进行加权，获得注意力特征；全连接层行为判断模块，用于根据注意力特征，通过全连接层获取人体行为概率分布，并将概率最大的人体行为作为时间片内的人体行为分类结果。2.根据权利要求1所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的预处理的具体过程包括：对数据集进行滤波处理；采用合成少数过采样技术对数据集中的不平衡类数据进行处理；采用定长滑窗法对数据集进行信号分割。3.根据权利要求2所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的合成少数过采样技术的计算公式为：c＝a+rand(0,1)*|a‑b|其中，a为原始样本点数据，b为欧式距离下与a最近邻的另一个样本数据，c为合成采样得到的样本数据，rand(0,1)表示0到1之间的随机数。4.根据权利要求2所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的滤波处理的具体过程包括：通过中值滤波和三阶巴特沃斯低通滤波器对数据集进行去噪。5.根据权利要求2所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的定长滑窗法中滑动窗口的重叠度为50％。6.根据权利要求1所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的传感器通道注意力模块为SENet中的SE通道注意力模块。7.根据权利要求1所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的卷积网络模块为CNN、Resnet或深度可分离卷积。8.根据权利要求1所述的一种基于融合注意力机制的人体行为识别方法，其特征在于，所述的循环神经网络模块为LSTM或GRU。9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述程序指令能够执行如权利要求1至8任一所述的人体行为识别方法。10.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1‑8任一所述的人体行为识别方法。2CN114821765A说明书1/5页一种基于融合注意力机制的人体行为识别方法技术领域[0001]本发明涉及一种人体行为识别技术，尤其是涉及一种基于融合注意力机制的人体行为识别方法。背景技术[0002]在人体行为识别技术中，多关注人体日常执行频率最高、表征人体基本运动单元的动作，如行走、站立、静止、跑步、上下楼梯等，然而，行为的多样性和复杂性对人体行为的细粒度区分有了更高的要